Neues autoregressives Modell Fluid von Google DeepMind und MIT übertrifft Diffusionsmodelle in der Bildgenerierung
Artikel jetzt als Podcast anhören
Google DeepMind und MITs neues Modell „Fluid“ übertrifft Diffusionsmodelle in der Bildgenerierung
Google DeepMind und das MIT haben „Fluid“ vorgestellt, ein neues autoregressives Modell zur Text-zu-Bild-Generierung, das bei Skalierung auf 10,5 Milliarden Parameter Spitzenwerte erzielt. Die im September 2023 veröffentlichte Studie liefert wichtige Erkenntnisse über die Skalierbarkeit von KI-Modellen zur Bildgenerierung und legt nahe, dass diese Modellklasse ein ähnliches Skalierungspotenzial wie große Sprachmodelle haben könnte.
Herausforderung der Detailgenauigkeit und globaler Struktur
Bisher galten autoregressive Modelle – der Standard für Sprachmodelle – als weniger leistungsfähig als Diffusionsmodelle für die Bildgenerierung. Letztere bilden die Grundlage für Tools wie Stable Diffusion und Googles Imagen 3. Die Forscher identifizierten jedoch zwei wichtige Designfaktoren, die die Leistung und Skalierbarkeit autoregressiver Modelle deutlich verbessern: die Verwendung kontinuierlicher anstelle von diskreten Token und eine zufällige anstatt einer festen Generierungsreihenfolge.
Kontinuierliche Token für präzisere Bildinformationen
Bei der Tokenisierung werden Bilder in kleinere Einheiten zerlegt, die das Modell verarbeiten kann. Diskrete Token weisen jedem Bildbereich einen Code aus einem begrenzten Vokabular zu, was zu Informationsverlust führt. Selbst große Modelle mit diskreten Token konnten bestimmte Details wie symmetrische Augen nicht korrekt generieren. Kontinuierliche Token hingegen speichern präzisere Informationen und ermöglichen eine viel bessere Bildrekonstruktion. Die Studie zeigt, dass Modelle mit kontinuierlichen Token eine deutlich höhere visuelle Qualität erreichen.
Zufällige Generierungsreihenfolge für ein besseres Verständnis der globalen Bildstruktur
Die meisten autoregressiven Modelle generieren Bilder in einer festen Reihenfolge von links nach rechts und von oben nach unten. Die Forscher experimentierten mit einer zufälligen Reihenfolge, bei der das Modell in jedem Schritt mehrere Pixel an beliebigen Positionen vorhersagen kann. Diese Methode erwies sich als viel leistungsfähiger, insbesondere für Aufgaben, die ein gutes Verständnis der globalen Bildstruktur erfordern. Im GenEval-Benchmark, der die Übereinstimmung zwischen Text und generiertem Bild misst, schnitten Modelle mit zufälliger Reihenfolge deutlich besser ab.
Fluid: Kombination aus kontinuierlichen Token und zufälliger Generierungsreihenfolge
Basierend auf diesen Erkenntnissen entwickelten die Forscher das Fluid-Modell, das kontinuierliche Token und eine zufällige Generierungsreihenfolge kombiniert. Bei Skalierung auf 10,5 Milliarden Parameter erzielte Fluid in wichtigen Benchmarks Spitzenwerte und übertraf sowohl Diffusionsmodelle wie Stable Diffusion 3 als auch frühere autoregressive Modelle wie Googles Parti.
Effizientere Bildgenerierung durch einzigen Durchlauf
Die Ergebnisse deuten darauf hin, dass autoregressive Modelle wie Fluid eine vielversprechende Alternative zu Diffusionsmodellen sein könnten. Während Diffusionsmodelle wie Stable Diffusion mehrere Vorwärts- und Rückwärtsdurchläufe benötigen, um ein Bild zu erzeugen, kann Fluid Bilder in einem einzigen Durchlauf generieren. Dies könnte zu einer effizienteren Bildgenerierung führen, insbesondere wenn die Modelle weiter skaliert werden.
Fazit
Die Entwicklung von Fluid ist ein bedeutender Fortschritt im Bereich der KI-gestützten Bildgenerierung. Die Kombination aus kontinuierlichen Token und zufälliger Generierungsreihenfolge ermöglicht es autoregressiven Modellen, Bilder mit höherer Qualität und Effizienz zu erzeugen als je zuvor. Es bleibt abzuwarten, wie sich diese Technologie in Zukunft weiterentwickeln und welche Auswirkungen sie auf verschiedene Bereiche wie Kunst, Design und Unterhaltung haben wird.
