KI-Reiseplanung: Auch OpenAIs o1-Preview stößt an seine Grenzen

Obwohl Künstliche Intelligenz (KI) in vielen Bereichen rasante Fortschritte macht, zeigt eine neue Studie, dass selbst fortschrittliche Sprachmodelle wie OpenAIs o1-Preview bei komplexen Planungsaufgaben im Bereich der Reiseplanung noch zu kämpfen haben. Die von Wissenschaftlern der Fudan University, der Carnegie Mellon University, ByteDance und der Ohio State University durchgeführte Studie testete verschiedene KI-Modelle anhand von zwei Planungsbenchmarks: BlocksWorld, einer klassischen Aufgabe zur Planung von Blockbewegungen, und TravelPlanner, einem realistischen Szenario für die Reiseplanung.

Erfolg in der Theorie, Schwierigkeiten in der Praxis

In BlocksWorld schnitten die meisten Modelle mit einer Genauigkeit von unter 50 % schlecht ab. Lediglich o1-mini (knapp 60 %) und o1-preview (fast 100 %) erzielten gute Ergebnisse. Im komplexeren TravelPlanner fielen die Resultate für alle getesteten Modelle jedoch enttäuschend aus.

GPT-4o erreichte nur eine Erfolgsquote von 7,8 %, während o1-preview 15,6 % erreichte. Andere Modelle wie GPT-4o-Mini, Llama 3.1 und Qwen2 lagen zwischen 0 und 2,2 %. Obwohl o1-preview im Vergleich zu GPT-4o eine Verbesserung zeigte, bleibt es doch weit hinter den Planungsfähigkeiten von Menschen zurück.

Zwei wesentliche Herausforderungen identifiziert

Die Forscher identifizierten zwei wesentliche Schwächen bei der KI-Planung. Erstens beziehen die Modelle Regeln und Bedingungen nur unzureichend ein, was zu Plänen führt, die gegen Vorgaben verstoßen. Zweitens verlieren sie mit zunehmender Planungszeit den Fokus auf das ursprüngliche Problem. Das Team nutzte die Methode der "Permutation Feature Importance", um zu messen, wie stark verschiedene Eingabekomponenten den Planungsprozess beeinflussten.

Verbesserungsansätze zeigen begrenzte Wirkung

Die Studie testete auch zwei gängige Strategien zur Verbesserung der KI-Planung. Episodische Gedächtnisaktualisierungen lieferten Erkenntnisse aus früheren Planungsversuchen. Dies verbesserte das Verständnis von Einschränkungen, führte aber nicht zu einer detaillierteren Berücksichtigung einzelner Regeln. Parametrische Gedächtnisaktualisierungen nutzten Feinabstimmung, um den Einfluss der Aufgabe auf die Planung zu erhöhen, aber das Kernproblem des abnehmenden Einflusses bei längeren Plänen blieb bestehen. Beide Ansätze zeigten zwar einige Verbesserungen, konnten die grundlegenden Probleme jedoch nicht vollständig beheben.

Zukünftige Forschung und Entwicklung

Die Ergebnisse der Studie unterstreichen die Notwendigkeit weiterer Forschung und Entwicklung, um die Fähigkeit von KI-Modellen zur Bewältigung komplexer Planungsaufgaben zu verbessern. Insbesondere die Integration von Regeln und Bedingungen sowie die Beibehaltung des Fokus über längere Planungszeiträume stellen zentrale Herausforderungen dar, die es zu bewältigen gilt. Die Veröffentlichung des Codes und der Daten der Studie auf GitHub wird es anderen Forschern ermöglichen, auf diesen Ergebnissen aufzubauen und die Entwicklung robusterer und effektiverer KI-Planungswerkzeuge voranzutreiben.

Bibliographie

https://www.reddit.com/r/OpenAI/comments/1fi5y9g/since_friday_o1preview_made_4o_feel_obsolete_for/ https://www.linkedin.com/pulse/major-breakthrough-ai-travel-planning-openais-new-jason-halberstadt-e6ute https://community.openai.com/t/o1-is-useless-for-us-and-our-use-cases/939838 https://blog.tobiaszwingmann.com/p/gpto1-preview-breaking-openais-new-model https://dev.to/composiodev/i-tested-openais-o1-preview-for-hours-you-wont-believe-what-i-found-n6i?bb=170960 https://www.linkedin.com/pulse/openais-new-o1-model-generative-ai-powerhouse-travel-industry-roukas-4e0se https://symflower.com/en/company/blog/2024/dev-quality-eval-v0.6-o1-preview-is-the-king-of-code-generation-but-is-super-slow-and-expensive/ https://www.thealgorithmicbridge.com/p/openai-o1-a-new-paradigm-for-ai https://news.ycombinator.com/item?id=41527354 https://ttms.com/the-new-era-of-chatgpt-what-makes-o1-preview-different-from-gpt-4o/