Neuartige Architektur für In-Context Learning bei Tabellarischen Daten: Orion-MSP setzt neue Maßstäbe

Revolution in der Verarbeitung Tabellarischer Daten: Orion-MSP nutzt Multiskalare Sparse Attention für überlegenes In-Context Learning

Tabellarische Daten stellen in vielen realen Anwendungen das vorherrschende Format dar. Die Entwicklung effektiver neuronaler Modelle für diese Daten ist jedoch aufgrund heterogener Feature-Typen und komplexer Interaktionen über mehrere Skalen hinweg eine anhaltende Herausforderung. Jüngste Fortschritte im Bereich des tabellarischen In-Context Learning (ICL) haben zwar vielversprechende Ergebnisse geliefert, stossen aber an Grenzen. Eine neue Architektur namens Orion-MSP, entwickelt von Lexsi Labs, zielt darauf ab, diese Einschränkungen durch eine Reihe innovativer Ansätze zu überwinden und einen neuen Standard für effizientes tabellarisches ICL zu setzen.

Aktuelle Herausforderungen im Tabellarischen In-Context Learning

Bestehende ICL-Architekturen für tabellarische Daten, wie TabPFN und TabICL, haben zwar eine mit Gradient-Boosted Trees (GBTs) vergleichbare Leistung ohne aufgabenspezifisches Fine-Tuning erreicht, weisen jedoch signifikante Einschränkungen auf. Diese umfassen:

• Einskalarige Feature-Verarbeitung: Viele Modelle übersehen hierarchische Abhängigkeiten innerhalb der Daten, da sie Features nur auf einer einzigen Skala verarbeiten.
• Dichte Aufmerksamkeit: Traditionelle Aufmerksamkeitsmechanismen skalieren quadratisch mit der Breite der Tabelle, was sie für hochdimensionale Datensätze rechnerisch unerschwinglich macht.
• Strikt sequentielle Komponentenverarbeitung: Dies verhindert eine iterative Repräsentationsverfeinerung und eine übergreifende Kommunikation zwischen den Modellkomponenten, was die Erfassung komplexer Muster erschwert.

Die Innovationen von Orion-MSP

Orion-MSP adressiert diese Herausforderungen durch drei zentrale Innovationen, die synergistisch zusammenwirken, um sowohl die Effektivität als auch die Skalierbarkeit zu verbessern:

Multiskalare Verarbeitung zur Erfassung hierarchischer Interaktionen

Eine der Kerninnovationen von Orion-MSP ist die Fähigkeit zur multiskalaren Verarbeitung. Dies bedeutet, dass das Modell Feature-Abhängigkeiten auf verschiedenen Granularitätsebenen analysiert. Ähnlich der hierarchischen Verarbeitung in der Bildverarbeitung kann Orion-MSP sowohl lokale Muster (einzelne Features) als auch globale Strukturen (Gruppen von Features) erkennen. Dies ist entscheidend, da reale tabellarische Daten oft komplexe, verschachtelte Beziehungen aufweisen, die auf einer einzelnen Skala nicht vollständig erfasst werden können.

Block-spärliche Aufmerksamkeit für Skalierbarkeit und Effizienz

Um das Problem der quadratischen Skalierung dichter Aufmerksamkeitsmechanismen zu lösen, implementiert Orion-MSP eine block-spärliche Aufmerksamkeit. Dieser Ansatz kombiniert verschiedene Muster:

• Fenster-Aufmerksamkeit (Windowed Attention): Erfasst lokale Konnektivität innerhalb definierter "Fenster" von Features.
• Globale Token (Global Tokens): Ermöglichen die Erfassung von Langzeitabhängigkeiten über die gesamte Tabelle hinweg.
• Zufällige Muster (Random Patterns): Bieten eine universelle Approximation und helfen, relevante, aber nicht direkt benachbarte Feature-Beziehungen zu erkennen.

Diese Kombination reduziert die rechnerische Komplexität erheblich, von O(m²) auf nahezu lineare O(m ⋅ log m), wobei m die Anzahl der Features ist. Dies macht Orion-MSP auch für sehr breite Tabellen praktikabel, die in Bereichen wie Genomik, Finanzanalyse und Sensorik häufig vorkommen.

Perceiver-ähnlicher Speicher für sicheren bidirektionalen Informationsfluss

Eine weitere entscheidende Komponente ist ein Perceiver-ähnlicher Speicher. Dieser Speicher ermöglicht einen bidirektionalen Informationsfluss zwischen den Komponenten des Modells, ohne die Sicherheit des In-Context Learning zu verletzen. Das bedeutet, dass Trainingsdaten zur Verfeinerung latenter Darstellungen genutzt werden können, während sichergestellt ist, dass Testdaten die Trainingsrepräsentationen nicht beeinflussen. Dies wird durch einen asymmetrischen Lese- und Schreibmechanismus erreicht: Nur Trainingsbeispiele schreiben in den latenten Speicher, während sowohl Trainings- als auch Testbeispiele daraus lesen, um ihre Repräsentationen zu verfeinern. Dies gewährleistet, dass Vorhersagen für Testdaten ausschliesslich auf dem Trainingskontext und den Testeingaben basieren.

Architektonisches Design und Komponenten

Die Architektur von Orion-MSP ist modular aufgebaut und umfasst vier Hauptkomponenten:

1. Spaltenweise Einbettung (Column-wise Embedding): Hierbei werden die Eingabetabellen mithilfe von Set Transformers mit Induced Set Attention Blocks (ISAB) in Einbettungsvektoren umgewandelt. ISAB verwendet nur Trainingsbeispiele zur Berechnung von Induktionspunkten, um Informationslecks von Testdaten zu verhindern und permutationsinvariante, verteilungsbewusste Einbettungen zu generieren.
2. Multiskalare spärliche Zeileninteraktion (Multi-scale Sparse Row Interaction): Diese Komponente verarbeitet Features auf mehreren Granularitätsebenen (z.B. Skalen 1, 4 und 16) mit spärlichen Aufmerksamkeits-Transformatoren, um lokale und globale Muster zu erfassen. Die CLS-Ausgaben über die Skalen hinweg werden aggregiert, um Zeileneinbettungen zu erzeugen.
3. Komponentenübergreifender Perceiver-Speicher (Cross-component Perceiver Memory): Dieser Speicher agiert als ein gemeinsamer Repräsentationsraum mit latenten Speicherslots. Nur Trainingsbeispiele aktualisieren diesen Speicher, während alle Beispiele ihn zur Verfeinerung ihrer Repräsentationen nutzen.
4. Datensatzweises In-Context Learning (Dataset-wise In-Context Learning): Für die Vorhersage werden Label-Injektion und Split-Masked Attention verwendet, um Trainings- und Testkontexte zu trennen. Dies stellt sicher, dass Testvorhersagen auf dem gelabelten Kontext basieren, ohne Test-zu-Train-Leckagen zuzulassen.

Experimentelle Evaluation und Ergebnisse

Orion-MSP wurde umfassend auf verschiedenen Benchmark-Suiten und realen Datensätzen evaluiert, darunter TALENT (154 Datensätze), OpenML-CC18 (63 Datensätze) und TabZilla (27 Datensätze), sowie auf medizinischen und finanziellen Datensätzen.

• Gesamtleistung: Orion-MSP erreichte einen mittleren Rang von 3,58 über alle Benchmarks hinweg und übertraf damit die meisten Baselines. Es belegte den zweiten Platz hinter TabPFN in der Gesamtleistung.
• Genauigkeit: Auf OpenML-CC18 erreichte das Modell eine Genauigkeit von 0,8722 (Rang 4,12) und auf TabZilla 0,8821 (Rang 3,84), was eine starke Zero-Shot-Generalisierung demonstriert.
• Hochdimensionale Daten: Orion-MSP zeigte sich besonders leistungsstark bei hochdimensionalen Datensätzen (>100 Features), wo Modelle mit dichter Aufmerksamkeit oft an Speichergrenzen stossen.
• Unausgewogene Datensätze: Das Modell erzielte auch auf unausgewogenen Datensätzen sehr gute Ergebnisse (ACC=0,8840, F1=0,8731), was darauf hindeutet, dass seine multiskalare Aufmerksamkeit Signale von Minderheitsklassen effektiv verstärkt.
• Domänen-spezifische Anwendung: In domänenspezifischen Bewertungen erreichte Orion-MSP den ersten Platz im Finanzbereich (ACC=0,8158, mittlerer Rang=4,60) und den zweiten Platz bei medizinischen Datensätzen (ACC=0,8045), was auf seine Fähigkeit zur Modellierung hierarchischer und übergreifender Feature-Abhängigkeiten zurückzuführen ist.
• Datensatzgrössen: Die Leistung blieb über verschiedene Datensatzgrössen hinweg konsistent, von kleinen (<1K Samples) bis grossen (>10K Samples), was die Robustheit des Modells unterstreicht.

Fazit

Die Kombination aus hierarchischer Verarbeitung, spärlicher Aufmerksamkeit und komponentenübergreifendem Speicher ermöglicht es Orion-MSP, effektiv über diverse tabellarische Lernszenarien hinweg zu generalisieren und gleichzeitig die rechnerische Machbarkeit für breite Tabellen zu gewährleisten. Diese Entwicklung etabliert Orion-MSP als einen neuen Standard für effizientes tabellarisches In-Context Learning und bietet vielversprechende Perspektiven für zukünftige Anwendungen in datenintensiven Industrien.

Das Modell ist öffentlich verfügbar unter https://github.com/Lexsi-Labs/Orion-MSP.

Bibliographie

- Bouadi, M., Seth, P., Tanna, A., & Sankarapu, V. K. (2025). Orion-MSP: Multi-Scale Sparse Attention for Tabular In-Context Learning. - Hugging Face. (2025). Daily Papers. - ChatPaper. (2025). Orion-MSP: Multi-Scale Sparse Attention for Tabular In-Context Learning. - Liu, S., & Ye, H. (2025). TabPFN Unleashed: A Scalable and Effective Solution to Tabular Classification Problems. Proceedings of the 42nd International Conference on Machine Learning. - Wei, H., Xu, M. A., Samplawski, C., Rehg, J. M., Kumar, S., & Marlin, B. M. (2022). Temporally Multi-Scale Sparse Self-Attention for Physical Activity Data Imputation. Proceedings of Machine Learning Research. - Arxiv. (2022). Multi-Scale Sparse Attention for Tabular In-Context Learning. - YesNoError. (2019). AI Agent for Breakthrough Research Notifications.