Neuartige Ansätze zur latentenfreien Bildgenerierung mit pixel MeanFlow

Sehr geehrte Leserschaft,

die generative Modellierung von Bildern hat in den letzten Jahren beeindruckende Fortschritte gemacht, wobei insbesondere diffusions- und flussbasierte Modelle neue Maßstäbe gesetzt haben. Diese Modelle zeichnen sich typischerweise durch zwei Kernmerkmale aus: die Verwendung von mehrstufigem Sampling und den Betrieb in einem latenten Raum. Jüngste Entwicklungen haben jedoch das Potenzial aufgezeigt, diese Einschränkungen zu überwinden. Eine aktuelle Forschungsarbeit, die im Januar 2026 veröffentlicht wurde, stellt ein innovatives Modell namens "pixel MeanFlow" (pMF) vor, das eine einstufige, latentenfreie Bildgenerierung ermöglicht und dabei bemerkenswerte Ergebnisse erzielt.

Grundlagen und Herausforderungen der Bildgenerierung

Moderne Bildgenerierungsmodelle, wie Diffusionsmodelle und Flow-Matching-Ansätze, haben die Fähigkeit, komplexe Bildverteilungen zu lernen und hochrealistische Bilder zu synthetisieren, erheblich verbessert. Traditionell verlassen sich diese Modelle auf mehrstufige Sampling-Prozesse, bei denen ein Bild schrittweise aus Rauschen rekonstruiert wird. Dies kann rechenintensiv sein und die Generierungsgeschwindigkeit einschränken. Darüber hinaus wird die Generierung oft in einem latenten Raum durchgeführt, der eine komprimierte Darstellung der Bilddaten darstellt. Während latente Räume die Dimensionalität reduzieren und das Modellieren erleichtern können, erfordern sie zusätzliche Komponenten wie Encoder und Decoder, die den End-to-End-Charakter des Generierungsprozesses beeinträchtigen können.

Die Forschungsgemeinschaft hat sich daher zunehmend der Entwicklung von Alternativen zugewandt, die diese Einschränkungen adressieren. Fortschritte bei Konsistenzmodellen und MeanFlow-Ansätzen haben die Möglichkeit eines einstufigen Samplings aufgezeigt, während die Entwicklung von "Just image Transformers" (JiT) die Generierung im rohen Pixelraum vorantreibt. Die Kombination dieser beiden Richtungen stellt jedoch eine erhebliche Herausforderung dar, da das neuronale Netzwerk die Komplexität der Modellierung von Trajektorien über verschiedene Start- und Endpunkte hinweg bewältigen und gleichzeitig die Kompression und Abstraktion im Pixelraum ohne vorkonditionierte latente Tokenizer durchführen muss.

Das Konzept von pixel MeanFlow (pMF)

Das von Yiyang Lu et al. vorgeschlagene pixel MeanFlow (pMF) zielt darauf ab, diese Herausforderungen zu adressieren, indem es einen neuartigen Ansatz für die einstufige, latentenfreie Bildgenerierung einführt. Der Kern von pMF liegt in der separaten Formulierung des Netzwerkausgaberaums und des Verlustraums. Das Netzwerk ist darauf ausgelegt, direkt eine x-Vorhersage zu liefern, die auf einer angenommenen niedrigdimensionalen Bildmannigfaltigkeit liegt. Der Verlust wird hingegen über MeanFlow im Geschwindigkeitsraum definiert. Eine einfache Transformation stellt dabei die Verbindung zwischen der Bildmannigfaltigkeit und dem durchschnittlichen Geschwindigkeitsfeld her.

Trennung von Vorhersage- und Verlustraum

Ein zentrales Merkmal von pMF ist die Entkopplung des Raums, in dem das Netzwerk seine Ausgabe erzeugt (Vorhersageraum), von dem Raum, in dem der Verlust berechnet wird (Verlustraum). Das Netzwerk zielt darauf ab, ein "denoised image" (x-Vorhersage) zu produzieren, das der ursprünglichen, rauschfreien Bildinformation nahekommt. Dies basiert auf der Hypothese, dass solche denoised images auf einer niedrigdimensionalen Mannigfaltigkeit liegen, was sie für neuronale Netze leichter modellierbar macht. Im Gegensatz dazu wird der Verlust im Geschwindigkeitsraum, genauer gesagt im MeanFlow-Kontext, minimiert. Dies ermöglicht eine präzise Steuerung des Generierungsprozesses durch die Modellierung des durchschnittlichen Geschwindigkeitsfeldes.

Die Rolle der Mannigfaltigkeitshypothese

Die Mannigfaltigkeitshypothese besagt, dass hochdimensionale Daten, wie Bilder, tatsächlich auf einer niedrigdimensionalen Mannigfaltigkeit eingebettet sind. pMF nutzt diese Hypothese, indem es das Netzwerk darauf trainiert, eine x-Vorhersage zu liefern, die dieser Mannigfaltigkeit entspricht. Dies steht im Gegensatz zu Ansätzen, die direkt ein Geschwindigkeitsfeld im Pixelraum vorhersagen, welches von Natur aus "verrauschter" ist und eine höhere Dimensionalität aufweist. Experimente zeigen, dass die x-Vorhersage für das Netzwerk erheblich einfacher zu lernen ist und zu deutlich besseren Ergebnissen führt, insbesondere in hochdimensionalen Pixelräumen.

Integration des Wahrnehmungsverlustes

Da pMF eine direkte Abbildung von verrauschten Eingaben zu denoised images im Pixelraum ermöglicht, profitiert es in besonderem Maße von der Integration eines Wahrnehmungsverlustes (Perceptual Loss). Im Gegensatz zu latenten Modellen, bei denen der Wahrnehmungsverlust oft während des Trainings des Tokenizers oder Decoders angewendet wird, kann pMF ihn direkt auf die generierten Pixelbilder anwenden. Der Wahrnehmungsverlust, beispielsweise basierend auf LPIPS (Learned Perceptual Image Patch Similarity), misst die Ähnlichkeit zwischen Bildern auf einer wahrnehmungsrelevanten Ebene und trägt erheblich zur Verbesserung der visuellen Qualität der generierten Bilder bei. Die Studie zeigt eine signifikante Verbesserung der FID-Werte durch die Anwendung von LPIPS, insbesondere in Kombination mit ConvNeXt-V2-basierten Varianten.

Experimentelle Ergebnisse und Leistungsvergleich

Die Evaluierung von pMF erfolgte auf dem anspruchsvollen ImageNet-Datensatz bei Auflösungen von 256x256 und 512x512 Pixeln. Das Modell wurde darauf trainiert, rohe Pixelbilder mit einer einzigen Funktionsauswertung (1-NFE) zu generieren. Die Ergebnisse, gemessen anhand des Fréchet Inception Distance (FID), sind bemerkenswert:

• Bei 256x256 Pixeln erreicht pMF einen FID-Wert von 2,22.
• Bei 512x512 Pixeln liegt der FID-Wert bei 2,48.

Diese Werte positionieren pMF als einen führenden Ansatz im Bereich der einstufigen, latentenfreien Bildgenerierung und schließen eine wichtige Lücke in diesem Regime.

Bedeutung der x-Vorhersage

Ein Vergleich zwischen x-Vorhersage und u-Vorhersage (Vorhersage des durchschnittlichen Geschwindigkeitsfeldes) unterstreicht die Bedeutung der Mannigfaltigkeitshypothese. Während bei geringeren Auflösungen (z.B. 64x64) beide Vorhersageziele akzeptable Ergebnisse liefern, scheitert die u-Vorhersage bei höheren Auflösungen (z.B. 256x256) katastrophal. Dies bestätigt die Annahme, dass die x-Vorhersage auf einer niedrigerdimensionalen Mannigfaltigkeit leichter zu modellieren ist, da u als "verrauschtere" Größe eine höhere Dimensionalität im Pixelraum aufweist.

Einfluss von Optimierern und Wahrnehmungsverlust

Die Wahl des Optimierers spielt eine entscheidende Rolle für die Leistung von pMF. Der Einsatz des Muon-Optimierers führt zu einer schnelleren Konvergenz und deutlich besseren FID-Werten im Vergleich zum Standard-Adam-Optimierer. Dies wird auf die Fähigkeit von Muon zurückgeführt, in den frühen Trainingsphasen ein genaueres Ziel für den Stop-Gradient-Ansatz von MeanFlow zu liefern. Darüber hinaus verbessert die Integration eines Wahrnehmungsverlustes, wie LPIPS, die FID-Werte erheblich, was die "What-you-see-is-what-you-get"-Eigenschaft von pMF im Pixelraum unterstreicht.

Vergleich mit anderen Methoden

pMF wurde umfassend mit bestehenden Generierungsmodellen verglichen, darunter mehrstufige und/oder latentenbasierte Diffusionsmodelle sowie GANs. Die Ergebnisse zeigen, dass pMF in der Kategorie der einstufigen, latentenfreien Diffusions-/Flow-Modelle eine herausragende Leistung erbringt. Im Vergleich zu GANs erreicht pMF vergleichbare FID-Werte bei deutlich geringerem Rechenaufwand und besserer Skalierbarkeit. Insbesondere die Nutzung von Large-Patch Vision Transformers trägt zur FLOPs-Effizienz von pMF bei. Im Vergleich zu mehrstufigen und/oder latentenbasierten Methoden bleibt pMF wettbewerbsfähig und schließt die Lücke zu diesen Ansätzen erheblich.

Skalierbarkeit und Hochauflösende Generierung

Die Studie demonstriert auch die Skalierbarkeit von pMF auf höhere Auflösungen bis zu 1024x1024 Pixeln bei gleichbleibender Sequenzlänge. Dies wird durch die Eigenschaft des Modells ermöglicht, stets x-Werte vorherzusagen, deren zugrundeliegende Dimensionalität nicht proportional zur Bildauflösung ansteigt. Dies führt zu einer FLOP-effizienten Lösung für die Generierung von hochauflösenden Bildern. Darüber hinaus profitiert pMF von einer Vergrößerung des Modells und längeren Trainingszeiten, was zu weiteren Leistungsverbesserungen führt.

Implikationen für die generative Modellierung

Die Entwicklung von pMF stellt einen Fortschritt in der generativen Modellierung dar, indem es die Machbarkeit und Wettbewerbsfähigkeit der einstufigen, latentenfreien Generierung von Bildern im Pixelraum aufzeigt. Dies hat mehrere Implikationen für die zukünftige Forschung und Anwendung:

• Effizienz: Die einstufige Generierung reduziert den Rechenaufwand und die Latenz erheblich, was für Echtzeitanwendungen und die Bereitstellung auf Geräten von Vorteil ist.
• Einfachheit: Der Verzicht auf latente Räume vereinfacht den Modellaufbau und die Trainingspipeline, da keine zusätzlichen Encoder/Decoder oder Tokenizer erforderlich sind.
• End-to-End-Lernen: pMF rückt näher an das Ideal des End-to-End-Deep-Learning heran, bei dem Modelle direkt von Rauschen zu Pixeln lernen.
• Verständnis der Modellierung: Die Ergebnisse unterstreichen die Bedeutung der Wahl des richtigen Vorhersageziels im Pixelraum und die Anwendbarkeit der Mannigfaltigkeitshypothese für die Modellierbarkeit durch neuronale Netze.

Die Studie legt nahe, dass neuronale Netze, wenn sie entsprechend konzipiert sind, in der Lage sind, komplexe End-to-End-Abbildungen direkt von Rauschen zu Pixeln zu lernen. Dies könnte zukünftige Forschungsanstrengungen im Bereich der direkten generativen Modellierung inspirieren.

Fazit

Die Einführung von "pixel MeanFlow" (pMF) markiert einen bedeutenden Schritt in der Entwicklung generativer Bildmodelle. Durch die Kombination einer innovativen Trennung von Vorhersage- und Verlustraum, die Nutzung der Mannigfaltigkeitshypothese und die effektive Integration von Wahrnehmungsverlusten erreicht pMF eine einstufige, latentenfreie Bildgenerierung mit hoher Qualität und Effizienz. Die Fähigkeit, hochauflösende Bilder mit geringem Rechenaufwand zu erzeugen, und die Skalierbarkeit des Modells positionieren pMF als eine vielversprechende Technologie für die Zukunft der generativen KI. Diese Forschung trägt dazu bei, die Grenzen diffusions- und flussbasierter generativer Modelle weiter zu verschieben und das Potenzial von End-to-End-Ansätzen im Deep Learning zu verdeutlichen.

Wir bei Mindverse beobachten diese Entwicklungen genau, da sie direkte Auswirkungen auf die Effizienz und Qualität von KI-gestützten Content-Erstellungstools haben können. Die Fähigkeit, in einem einzigen Schritt hochwertige Bilder zu generieren, eröffnet neue Möglichkeiten für die schnelle Prototypisierung, die Erstellung von Marketingmaterialien und die Personalisierung von Inhalten, wodurch der Workflow für unsere B2B-Kunden erheblich optimiert werden könnte.

Bibliographie

- Lu, Y., Lu, S., Sun, Q., Zhao, H., Jiang, Z., Wang, X., Li, T., Geng, Z., & He, K. (2026). One-step Latent-free Image Generation with Pixel Mean Flows. arXiv preprint arXiv:2601.22158. - Geng, Z., Deng, M., Bai, X., Kolter, J. Z., & He, K. (2025). Mean Flows for One-step Generative Modeling. NeurIPS. - Li, T., & He, K. (2025). Back to basics: let denoising generative models denoise. arXiv preprint arXiv:2511.13720. - Song, Y., Dhariwal, P., Chen, M., & Sutskever, I. (2023). Consistency models. ICML. - Zhang, R., Isola, P., Efros, A. A., Shechtman, E., & Wang, O. (2018). The unreasonable effectiveness of deep features as a perceptual metric. CVPR. - Jordan, J., Keller, J., Jin, Y., Boza, V., You, J., Cecista, F., Newhouse, L., Laker, B., Bernstein, J. (2024). Muon: an optimizer for hidden layers in neural networks. - Woo, S., Debnath, S., Hu, R., Chen, X., Liu, Z., Kweon, I. S., & Xie, S. (2023). ConvNeXt V2: Co-designing and scaling ConvNets with masked autoencoders. CVPR. - Karras, T., Aittala, M., Laine, S., Lehtinen, J., Aila, T., & Hellsten, J. (2022). Elucidating the design space of diffusion-based generative models. NeurIPS. - Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-resolution image synthesis with latent diffusion models. CVPR. - Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., & Bengio, Y. (2014). Generative adversarial nets. NeurIPS. - Heusel, M., Ramsauer, H., Unterthiner, T., Nessler, B., & Hochreiter, S. (2017). GANs trained by a two time-scale update rule converge to a local Nash equilibrium. NeurIPS. - Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K., & Fei-Fei, L. (2009). ImageNet: A large-scale hierarchical image database. CVPR.