Neuartige Ansätze zur Analyse neuronaler Netzwerkrepräsentationen und deren Implikationen für KI-Modellierung

Die Verfeinerung der Repräsentationshypothesen in neuronalen Netzen: Ein aristotelischer Blickwinkel

Die Art und Weise, wie künstliche Intelligenz (KI) die Welt darstellt, ist ein zentrales Forschungsthema. Insbesondere die Frage, ob und wie die internen Repräsentationen neuronaler Netze konvergieren, steht im Fokus aktueller wissenschaftlicher Debatten. Eine jüngst veröffentlichte Arbeit, die sich kritisch mit der sogenannten "Platonischen Repräsentationshypothese" auseinandersetzt, hat dabei neue Perspektiven eröffnet und eine alternative "Aristotelische Repräsentationshypothese" vorgeschlagen.

Die Platonische Repräsentationshypothese und ihre Herausforderungen

Die ursprünglich von Huh et al. (2024) formulierte Platonische Repräsentationshypothese besagt, dass neuronale Netze, selbst wenn sie mit unterschiedlichen Zielen, Daten und Modalitäten trainiert werden, in ihren Repräsentationsräumen zu einem gemeinsamen statistischen Modell der Realität konvergieren. Diese Annahme basiert auf der Idee, dass alle Daten – sei es in Form von Bildern, Texten oder Tönen – Projektionen einer zugrundeliegenden Realität sind, deren gemeinsame Bedeutung von den Algorithmen erfasst werden könnte. Die Hypothese wurde durch Beobachtungen gestützt, dass die Ähnlichkeit zwischen Repräsentationen verschiedener Modelle mit zunehmender Skalierung der Modelle zunimmt.

Die Messung dieser Repräsentationsähnlichkeit erfolgt typischerweise mittels verschiedener Metriken, darunter Centered Kernel Alignment (CKA), Canonical Correlation Analysis (CCA) oder Representational Similarity Analysis (RSA). Die neue Untersuchung von Gröger, Wen und Brbić (2026) deckt jedoch auf, dass diese Metriken unter bestimmten Bedingungen zu systematischen Verzerrungen neigen können, die als "Confounder" bezeichnet werden.

Zwei entscheidende Confounder: Breite und Tiefe der Netzwerke

Die Forscher identifizierten zwei Hauptquellen dieser Verfälschungen:

• Der Breiten-Confounder: Wenn die Einbettungsdimension eines Netzwerks im Verhältnis zur Stichprobengröße zunimmt, zeigen interaktionsmatrixbasierte Ähnlichkeitsmetriken eine systematisch positive Grundlinie. Dies bedeutet, dass Modelle mit größerer Breite ähnlicher erscheinen können, selbst wenn ihre Repräsentationen unabhängig sind. Die scheinbare Ähnlichkeit ist hier eine Folge der Dimensionalität, nicht einer echten Konvergenz.
• Der Tiefen-Confounder: Viele Analysen vergleichen nicht einzelne Schichtpaare, sondern berichten eine zusammenfassende Statistik, wie das Maximum über alle Schichtpaare. Das Nehmen eines Maximums über viele Vergleiche kann den berichteten Wert künstlich erhöhen, selbst wenn keine Ähnlichkeit besteht. Dies wird als "Look-Elsewhere-Effekt" bezeichnet und führt dazu, dass tiefere Modelle aufgrund der größeren Anzahl von Vergleichspaaren ähnlicher erscheinen können.

Diese Confounder untergraben die vergleichende Aussagekraft von Repräsentationsähnlichkeitsmaßen ohne entsprechende Kalibrierung.

Das Null-Kalibrierungs-Framework: Eine Lösung für präzisere Messungen

Um diesen Herausforderungen zu begegnen, wurde ein neuartiges "Null-Kalibrierungs-Framework" entwickelt. Die Kernidee besteht darin, beobachtete Ähnlichkeitswerte mit einer empirischen Nullverteilung zu vergleichen, die durch Permutationen der Stichprobenkorrespondenzen erzeugt wird. Dies etabliert einen prinzipiellen Nullpunkt, der die Artefakte endlicher Stichproben und hoher Dimensionalität berücksichtigt.

Das Framework umfasst zwei Hauptansätze:

• Skalare Null-Kalibrierung: Für den Vergleich einzelner Repräsentationspaare wird ein kritischer Schwellenwert aus der Nullverteilung geschätzt. Werte unterhalb dieses Schwellenwerts werden als nicht signifikant betrachtet und ein kalibrierter Wert von Null zugewiesen.
• Aggregationsbewusste Null-Kalibrierung: Wenn Modelle mit mehreren Schichten verglichen und eine zusammenfassende Statistik (wie das Maximum) berichtet wird, muss der Aggregationsschritt selbst kalibriert werden. Die Nullverteilung wird hierbei auf Basis des gesamten Analyseprozesses berechnet, um die durch die Selektion bedingte Inflation zu korrigieren.

Experimente mit synthetischen Daten zeigten, dass die Null-Kalibrierung die durch die Breiten- und Tiefen-Confounder verursachten Verzerrungen effektiv eliminiert, ohne dabei die Sensitivität für echte Ähnlichkeiten zu opfern.

Die Aristotelische Repräsentationshypothese: Konvergenz lokaler Beziehungen

Die Anwendung des Kalibrierungs-Frameworks auf die Platonische Repräsentationshypothese führte zu einer nuancierten Neubewertung. Die scheinbare globale Konvergenz, die zuvor mittels spektraler Maße berichtet wurde, verschwindet nach der Kalibrierung weitgehend. Dies deutet darauf hin, dass diese Beobachtungen primär auf die identifizierten Breiten- und Tiefen-Confounder zurückzuführen waren.

Im Gegensatz dazu bleibt die lokale Nachbarschaftsähnlichkeit, gemessen durch Metriken wie mutual k-Nearest Neighbors (mKNN), auch nach der Kalibrierung signifikant. Dies bedeutet, dass neuronale Netze, die unter verschiedenen Bedingungen trainiert wurden, weiterhin eine Übereinstimmung in den lokalen Nachbarschaftsbeziehungen ihrer Repräsentationen aufweisen, jedoch nicht unbedingt in den absoluten Distanzen.

Basierend auf diesen Erkenntnissen schlagen die Autoren die "Aristotelische Repräsentationshypothese" vor: Neuronale Netze, die mit unterschiedlichen Zielen, Daten und Modalitäten trainiert werden, konvergieren zu geteilten lokalen Nachbarschaftsbeziehungen. Diese Hypothese betont die Konvergenz auf Beziehungen zwischen Instanzen ("wer ist wem nahe") und weniger auf eine globale, perfekt übereinstimmende Struktur.

Weitere Analysen zeigten, dass diese Konvergenz in der lokalen topologischen Struktur, d.h. in der Übereinstimmung, welche Punkte als Nachbarn identifiziert werden, liegt, und nicht in der Übereinstimmung exakter lokaler Distanzen. Dies unterstreicht, dass die Aristotelische Hypothese eine Konvergenz zu einer geteilten topologischen, aber nicht unbedingt metrischen Struktur postuliert.

Implikationen für die KI-Entwicklung und zukünftige Forschung

Die Ergebnisse dieser Studie haben mehrere wichtige Implikationen für die Entwicklung und das Verständnis von KI-Modellen:

• Validierung von Ähnlichkeitsmetriken: Die Notwendigkeit einer sorgfältigen Kalibrierung von Repräsentationsähnlichkeitsmetriken wird hervorgehoben. Ohne diese Korrektur können scheinbare Konvergenzen oder Ähnlichkeiten fälschlicherweise interpretiert werden.

• Tieferes Verständnis neuronaler Repräsentationen: Die Aristotelische Repräsentationshypothese bietet einen präziseren Rahmen für das Verständnis, wie neuronale Netze Informationen organisieren und welche Aspekte ihrer internen Darstellungen über verschiedene Modelle hinweg geteilt werden.

• Effizientere Modellentwicklung: Ein besseres Verständnis der Konvergenzmechanismen kann zur Entwicklung effizienterer Trainingsstrategien und Architekturdesigns führen, insbesondere im Kontext von Transfer Learning und multimodalem Lernen.

• Fokus auf lokale Strukturen: Die Betonung lokaler Nachbarschaftsbeziehungen könnte neue Forschungsrichtungen anregen, die sich auf die explizite Modellierung und Ausnutzung dieser lokalen Strukturen konzentrieren.

Die Arbeit von Gröger, Wen und Brbić leistet einen wichtigen Beitrag zur Debatte über die Natur von Repräsentationen in neuronalen Netzen. Sie zeigt, dass eine kritische Überprüfung der Messmethoden unerlässlich ist und eröffnet neue Wege, um die komplexen Mechanismen hinter den leistungsstarken KI-Systemen der Gegenwart und Zukunft zu entschlüsseln.

Bibliographie

- Gröger, F., Wen, S., Brbić, M. (2026). Revisiting the Platonic Representation Hypothesis: An Aristotelian View. Verfügbar unter: https://arxiv.org/abs/2602.14486 - Huh, M., Cheung, B., Wang, T., Isola, P. (2024). Position: The Platonic Representation Hypothesis. International Conference on Machine Learning. Verfügbar unter: https://proceedings.mlr.press/v235/huh24a.html - Kornblith, S., Norouzi, M., Lee, H., Hinton, G. (2019). Similarity of neural network representations revisited. International Conference on Machine Learning. - Kriegeskorte, N., Mur, M., Bandettini, P. A. (2008). Representational similarity analysis–connecting the branches of systems neuroscience. Frontiers in Systems Neuroscience. - Murphy, A., Zylberberg, J., Fyshe, A. (2024). Correcting biased centered kernel alignment measures in biological and artificial neural networks. arXiv preprint arXiv:2405.01012. - Zhu, T., Han, T., Guibas, L., Pătrăucean, V., Ovsjanikov, M. (2026). Dynamic Reflections: Probing Video Representations with Text Alignment. International Conference on Learning Representations.