© Péter Gudella / 123rf.com

Diffusionsmodelle sind äußerst leistungsfähige generative Verfahren im Bereich der künstlichen Intelligenz. Sie können sehr präzise, hochaufgelöste Bilder erzeugen.

Unter einem Diffusionsprozess versteht man einen stochastischen Prozess, mit dem verschiedene wissenschaftliche und technische Disziplinen die zufällige Bewegung von Partikeln in einem Medium beschreiben. Die Konzepte der Diffusion stammen aus der Physik und der Chemie, insbesondere aus der Thermodynamik, wo man sie zur Beschreibung der Bewegung von Molekülen in Flüssigkeiten und Gasen verwendet. Albert Einstein formulierte 1905 eine mathematische Beschreibung der Brownschen Bewegung, die als Grundlage für das Verständnis von Diffusionsprozessen gilt.

Diffusionsprozesse kommen aber auch in ganz anderen Bereichen zum Einsatz, etwa in der Finanzmathematik. Dort benutzt man sie zur Beschreibung der Preisentwicklung von Finanzderivaten. Allgemein beschreibt ein Diffusionsprozess die zufällige Verbreitung von Teilchen oder Informationen über Zeit und Raum. Mathematische Modelle können sie analysieren und vorhersagen.

In der künstlichen Intelligenz nutzt man auf Diffusion basierende Modelle, um Daten zu generieren. Grundsätzlich funktioniert das, indem das Modell Trainingsdaten durch sukzessives Hinzufügen von Rauschen zunächst zerstört und dann lernt, die Daten wiederherzustellen, indem es den Prozess des Verrauschens umkehrt (Denoising). Letztendlich wird das ursprüngliche Bild dafür zunächst in reines Rauschen umgewandelt. Der Zweck des anschließenden Trainings ist, den umgekehrten Prozess zu lernen. Das Ziel: Das trainierte Diffusionsmodell soll Daten generieren, indem es zufälliges Rauschen durch den erlernten Denoising-Prozess leitet und dadurch neue Daten erschafft (Abbildung 1).

Abbildung 1: Das Diffusionsmodell kann am Ende aus zufälligem Rauschen, das es Schritt für Schritt vermindert, wieder ein Bild erzeugen.

DDPM

Eine zentrale Komponente von Diffusionsmodellen ist der Vorwärtsdiffusionsprozess, der schrittweise Rauschen zu den Trainingsdaten hinzufügt (Abbildung 2). Anschließend lernen die Modelle, dieses Rauschen im Rückwärtsdiffusionsprozess wieder zu entfernen und so die ursprünglichen Daten zu rekonstruieren. Diese grundlegende Idee lässt sich in verschiedenen Varianten implementieren.

Abbildung 2: Die Vorwärtsdiffusion fügt einem Bild Schritt für Schritt Rauschen hinzu, bis es nur noch aus Rauschen besteht.

Ein populäres Verfahren ist das Denoising Diffusion Probabilistic Modell (DDPM). Es hebt sich von anderen Diffusionsmodellen durch seine spezifische Implementierung des Diffusionsprozesses und der Rückwärtsrekonstruktion ab. Bei DDPM fügt man zunächst in kleinen, diskreten Schritten Gaußsches Rauschen zu den Daten hinzu, bis das ursprüngliche Bild vollständig in Rauschen übergeht.

Als Gaußsches Rauschen bezeichnet man eine zufällige Variation, die einer durch eine Glockenkurve repräsentierten Normalverteilung folgt. Die meisten Werte gruppieren sich unter dem höchsten Punkt der Kurve um einen Mittelwert. Ein sogenanntes Scheduling bestimmt die Anzahl der Schritte und die Rauschintensität in jedem Schritt und optimiert beide Parameter so, dass sich am Ende eine hohe Qualität der generierten Daten bei geringen Rechenkosten ergibt.

Das Scheduling spielt eine entscheidende Rolle für die Effizienz und Leistung von DDPMs. Der entsprechende Scheduler kann unterschiedlich implementiert sein. So gibt es insbesondere lineare und Kosinus-Scheduler, um den Plan für den Diffusionsprozess festzulegen.

Ein linearer Scheduler fügt in jedem Schritt immer dieselbe Rauschmenge hinzu oder entfernt sie wieder. So verteilt sie sich gleichmäßig über die gesamte Dauer des Prozesses. Durch die konstante Änderung der Rauschintensität in jedem Schritt entsteht ein gleichmäßiger Übergang über die verschiedenen Schritte hinweg.

Im Gegensatz dazu verwendet der Kosinus-Scheduler eine Kosinusfunktion, um die Rauschmenge zu steuern. Dadurch ändert sich die Rauschintensität über den Prozess hinweg auf eine glattere und nicht lineare Weise. Am Anfang und Ende des Prozesses fallen die Änderungen geringer aus, in der Mitte sind sie am stärksten. Das führt oft zu einer besseren Verteilung der Rauschschritte und kann die Qualität der generierten Daten verbessern.

Nach der Vorwärts- folgt die Rückwärtsdiffusion (Abbildung 3), die in DDPM ein neuronales Netz steuert. Es lernt durch Anpassung seiner Gewichte, in jedem Schritt die Wahrscheinlichkeit des nächsten Bildzustands vorherzusagen, sodass das hinzugefügte Rauschen schrittweise entfernt wird. Als Ergebnis erhält man eine äußerst genaue Rekonstruktion des ursprünglichen Bilds.

Praxis

Diffusionsmodelle fügen also Rauschen zu den Trainingsbildern hinzu und lernen dann, es wieder zu entfernen. Bei Text-zu-Bild-Modellen wie DALL-E oder Stable Diffusion gibt der Nutzer zusätzlich eine Bildbeschreibung vor, die ein Textencoder in eine mathematische Repräsentation (Latent Space) umwandelt. Diese Repräsentation leitet dann den Denoising-Prozess und sorgt dafür, dass das generierte Bild mit der Textbeschreibung übereinstimmt.

Das Modell wird auf Millionen von Bild-Text-Paaren trainiert. So lernt es die Beziehung zwischen Wörtern und Bildern, ohne dazu jede mögliche Kombination gesehen haben zu müssen. Auch wenn das Modell zum Beispiel niemals einen Elefanten auf einem Besen im Weltall gesehen hat, kann es durch das Verknüpfen von bekannten Konzepten – Elefant, Besen, Weltall – eine völlig neue und hoffentlich plausible Version davon generieren.

Da der Prozess auf zufälligem Rauschen basiert, führt derselbe Textprompt bei jedem Versuch zu leicht unterschiedlichen Bildern. Das Modell beginnt jedes Mal mit einem anderen verrauschten Bild und rekonstruiert es nach der Textanweisung.

Abbildung 3: Bei der Rückwärtsdiffusion lernt das Modell, das Rauschen Schritt für Schritt zu vermindern, sodass der Prozess am Ende wieder beim unverrauschten Bild landet.

Diffusionsmodelle verwenden eine U-Net-Variante, um den umgekehrten Diffusionsprozess zu approximieren. Dabei handelt es sich um einen speziellen Typ neuronaler Netze, der ursprünglich für Aufgaben in der Bildsegmentierung entwickelt wurde. Es zeichnet sich durch eine symmetrische Encoder-Decoder-Struktur aus, bei der das Netz Merkmale in einer U-förmigen Architektur extrahiert und rekonstruiert.

Die Encoder-Seite komprimiert die Informationen, die Decoder-Seite erweitert sie wieder auf die ursprüngliche Auflösung. Diese Wahl des Netztyps resultiert aus der Beliebtheit von U-Net-Architekturen in Computer-Vision-Anwendungen, weil sie sich besonders gut dazu eignen, komplexe Muster zu erfassen und präzise zu rekonstruieren.

Verlustfunktion

Wie andere KI-Methoden auch, benötigt DDPM eine Verlustfunktion, die es im Laufe des Trainings zu optimieren gilt. DDPM verwendet eine spezifische Verlustfunktion, die darauf abzielt, die Kullback-Leibler-Divergenz zwischen der Verteilung der rekonstruierten und der ursprünglichen Daten zu minimieren. Die Kullback-Leibler-Divergenz bietet ein Maß dafür, wie stark sich zwei Wahrscheinlichkeitsverteilungen voneinander unterscheiden. Je kleiner sie ausfällt, desto mehr ähneln sich zwei Verteilungen.

Konkret kommt bei DDPM die ELBO-Verlustfunktion (Evidence Lower Bound) zum Einsatz. Sie gehört zu den zentralen Konzepten der Variational Inference und dient als Verlustfunktion in probabilistischen Modellen einschließlich DDPMs. Variational Inference beschreibt allgemein Methoden zur Approximation komplexer Wahrscheinlichkeitsverteilungen. Statt direkt eine schwierige Verteilung zu berechnen, nähert sie sie mit einer einfacheren Verteilung an, optimiert diese Annäherung und macht dadurch Inferenz effizienter.

In DDPMs dient die ELBO-Verlustfunktion dazu, den Diffusionsprozess zu steuern und das Modell zu trainieren, sodass es sowohl die Datenrekonstruktion als auch die Handhabung des Rauschens effektiv erlernt. Mathematisch lässt sich zeigen, dass eine Optimierung des ELBO-Verlusts automatisch auch die Kullback-Leibler-Divergenz zwischen den generierten Daten und der gewünschten Datenverteilung minimiert. Damit erzeugt das Modell Daten, die den Trainingsdaten möglichst weitgehend ähneln.

Stable Diffusion

Ein weiteres populäres Diffusionsmodell ist Stable Diffusion, eine spezifische Implementierung von latenten Diffusionsmodellen. Sie unterscheidet sich in mehreren wichtigen Aspekten von den klassischen DDP-Modellen.

Ein Hauptmerkmal von Stable Diffusion ist, dass der Diffusionsprozess im latenten Raum eines vortrainierten Autoencoders stattfindet statt im hochdimensionalen Bildraum (Abbildung 4). Als latenten Raum bezeichnet man einen verborgenen Raum, in dem Daten vereinfacht und auf ihre wichtigsten Merkmale reduziert werden. Er hilft, komplexe Daten wie Bilder oder Texte auf eine Weise darzustellen, die sich leichter analysieren lässt. Der Autoencoder dient dabei zur Dimensionsreduktion, um die latente Darstellung der Daten zu finden, und stellt einen entsprechenden Encoder und Decoder bereit. Diese Vorgehensweise reduziert die Komplexität und den Rechenaufwand erheblich, da der latente Raum eine komprimierte und abstrahierte Darstellung der Daten bietet.

Abbildung 4: Stable Diffusion benutzt einen latenten Datenraum, der den Rechenaufwand erheblich reduziert.

Im Vergleich dazu operiert DDPM direkt im Bildraum, was eine hohe Rechenintensität erfordert, insbesondere bei hochauflösenden Bildern. Durch die Arbeit im latenten Raum kann Stable Diffusion Daten schneller und effizienter generieren. Die geringeren Ressourcenanforderungen und die Reduzierung der Komplexität ermöglichen kürzere Trainings- und Generierungszeiten. Im Gegensatz dazu benötigt DDPM eine große Anzahl von Diffusionsschritten im Bildraum, was zu längeren Prozessen führt.

Ein weiterer Vorteil von Stable Diffusion liegt in der Flexibilität und Anpassbarkeit. Aufgrund seiner Architektur kann man es leicht an verschiedene Aufgaben anpassen, wie Text-zu-Bild-Generierung oder Bildbearbeitung. Diese Fähigkeit wird durch die Verwendung eines latenten Raums unterstützt, der es ermöglicht, verschiedene Steuerungsparameter effizient in den Generierungsprozess zu integrieren. Zwar kann man DDPM ebenfalls anpassen, doch das erfordert oft mehr Aufwand, um eine ähnliche Flexibilität zu erreichen.

Stable Diffusion wurde gezielt für praktische Anwendungen entwickelt und vermag hochauflösende Bilder zu generieren und Textanweisungen zu interpretieren. Es ist für reale Anwendungsfälle wie kreative Bildgenerierung und benutzerdefinierte Bildbearbeitung optimiert. Außerdem erzielt Stable Diffusion hervorragende Ergebnisse bei der Bildgenerierung, indem es komplexe Szenen mit hoher Detailtreue und Konsistenz produziert. Zwar kann DDPM ebenfalls qualitativ hochwertige Bilder erzeugen, doch das verursacht oft längere Generierungszeiten und einen höheren Rechenaufwand.

Fazit

Diffusionsmodelle in der KI, wie DDPM und Stable Diffusion, bieten innovative Ansätze zur Bild- und Datengenerierung. Die Modelle arbeiten durch schrittweises Hinzufügen und Entfernen von Rauschen in Daten, was es ermöglicht, sehr realistische Bilder und andere komplexe Datensätze zu erstellen. DDPM setzt dabei auf einen langsamen, aber präzisen Prozess, während Stable Diffusion durch effizientere Algorithmen eine schnellere Generierung ermöglicht. Beide Modelle stellen entscheidende Fortschritte in der KI-Forschung dar und haben das Potenzial, verschiedene Anwendungen in Kunst, Wissenschaft und Technologie zu revolutionieren. (jcb)