Von Liquid Neural Networks zu Liquid Foundation Models

Von Liquid AI

Veröffentlicht am 30. September 2024

Wir haben Liquid Neural Networks erfunden, eine Klasse hirninspirierter Systeme, die auch nach dem Training anpassungsfähig und robust gegenüber Veränderungen bleiben können [R. Hasani, PhD Thesis] [Lechner et al. Nature MI, 2020] [pdf] (2016-2020). Wir haben dann analytisch und experimentell gezeigt, dass es sich um universelle Approximatoren handelt [Hasani et al. AAAI, 2021], ausdrucksstarke kontinuierliche maschinelle Lernsysteme für sequenzielle Daten [Hasani et al. AAAI, 2021] [Hasani et al. Nature MI, 2022], parametereffizient beim Erlernen neuer Fähigkeiten [Lechner et al. Nature MI, 2020] [pdf], kausal und interpretierbar [Vorbach et al. NeurIPS, 2021] [Chahine et al. Science Robotics 2023] [pdf], und wenn sie linearisiert werden, können sie sehr langfristige Abhängigkeiten in sequenziellen Daten effizient modellieren [Hasani et al. ICLR 2023].

Darüber hinaus entwickelten wir Klassen von nichtlinearen neuronalen Differentialgleichungssequenzmodellen [Massaroli et al. NeurIPS 2021] und verallgemeinerten sie auf Graphen [Poli et al. DLGMA 2020]. Wir skalierten und optimierten zeitkontinuierliche Modelle mithilfe hybrider numerischer Methoden [Poli et al. NeurIPS 2020], paralleler Zeitschritte [Massaroli et al. NeurIPS 2020] und erreichten den Stand der Technik bei Regelungs- und Prognoseaufgaben [Massaroli et al. SIAM Journal] [Poli et al. NeurIPS 2021][Massaroli et al. IEEE Control Systems Letters]. Das Team veröffentlichte eine der umfassendsten Open-Source-Bibliotheken für neuronale Differentialgleichungen [Poli et al. 2021 TorchDyn], die heute in verschiedenen Anwendungen für die generative Modellierung mit Diffusion und Vorhersage eingesetzt wird.

Wir schlugen die erste effiziente parallele Scan-basierte lineare Zustandsraumarchitektur vor [Smith et al. ICLR 2023] und hochmoderne Zeitreihen-Zustandsraummodelle basierend auf rationalen Funktionen [Parnichkun et al. ICML 2024]. Außerdem führten wir die erstmaligen generativen Zustandsraumarchitekturen für Zeitreihen [Zhou et al. ICML 2023] und Zustandsraumarchitekturen für Videos ein [Smith et al. NeurIPS 2024]

Wir schlugen ein neues Framework für neuronale Operatoren vor [Poli et al. NeurIPS 2022], das Ansätze wie Fourier Neural Operators bei der Lösung von Differentialgleichungen und Vorhersageaufgaben übertrifft.

Unser Team hat an der Entwicklung von Deep-Signalverarbeitungsarchitekturen wie Hyena [Poli et al. ICML 2023] [Massaroli et al. NeurIPS 2023], HyenaDNA [Nguyen et al. NeurIPS 2023] und StripedHyena mitgewirkt, die effizient auf lange Kontexte skalieren. Evo [Nguyen et al. 2024], basierend auf StripedHyena, ist ein DNA-Grundlagenmodell, das über DNA, RNA und Proteine hinweg generalisiert und in der Lage ist, neue CRISPR-Systeme generativ zu entwerfen.

Wir waren die Ersten, die Sprachmodelle sowohl auf Basis von Deep Signal Processing als auch von State-Space-Layern skaliert haben [Link], und haben die bisher umfangreichste Skalierungsgesetzanalyse zu Beyond-Transformer-Architekturen durchgeführt [Poli et al. ICML 2024], mit neuen Modellvarianten, die bestehende Open-Source-Alternativen übertreffen.

Das Team steht hinter vielen der besten Open-Source-LLM-Finetunes und -Zusammenführungen [Maxime Lebonne, Link].

Zu guter Letzt hat die Forschung unseres Teams zu Pionierarbeit in den Bereichen Graph Neural Networks und Geometric Deep Learning-basierte Modelle [Lim et al. ICLR 2024], zur Definition neuer Messgrößen für die Interpretierbarkeit in neuronalen Netzen [Wang et al. CoRL 2023] und zu den hochmodernen Algorithmen zur Datensatzdestillation beigetragen [Loo et al. ICML 2023].

Sprechen Sie mit unserem Team

Über Liquid

Liquid AI, ein Spin-off des MIT, ist ein Unternehmen für Grundlagenmodelle mit Hauptsitz in Boston, Massachusetts. Unsere Mission ist es, leistungsstarke und effiziente Allzweck-KI-Systeme in jeder Größenordnung zu entwickeln.

Bleiben Sie über Liquid AI auf dem Laufenden

Bleiben Sie in Kontakt

Für alle Presseanfragen wenden Sie sich bitte an press@liquid.ai.

Home

Über uns

Liquid Engine

LFMs

Karriere

Newsroom

© 2024, Liquid AI, Inc. Alle Rechte vorbehalten.

Datenschutzrichtlinie

|

Allgemeine Geschäftsbedingungen

314 Main St, Cambridge, MA 02142

Wir verwenden Cookies, um Ihr Surferlebnis zu verbessern und unseren Datenverkehr zu analysieren. Indem Sie auf „Alle akzeptieren“ klicken, stimmen Sie unserer Verwendung von Cookies zu. Um Ihre Cookie-Einstellungen zu steuern, wählen Sie „Anpassen“.

Alle ablehnen

Alle akzeptieren

Liquid AI, ein neues MIT-Spin-off, will eine völlig neue Art von KI entwickeln

Kyle Wiggers

19:00 Uhr PST · 6. Dezember 2023

Ein MIT-Spin-off, das von der Robotik-Koryphäe Daniela Rus mitgegründet wurde, will Allzweck-KI-Systeme bauen, die von einer relativ neuen Art von KI-Modell namens „Liquid Neural Network“ angetrieben werden.

Das Spin-off mit dem treffenden Namen Liquid AI trat heute Morgen aus der Tarnung und gab bekannt, dass es 37,5 Millionen Dollar – eine beachtliche Summe für eine Seed-Finanzierungsrunde in zwei Stufen – von VCs und Organisationen wie OSS Capital, PagsGroup, der WordPress-Muttergesellschaft Automattic, Samsung Next, Bold Capital Partners und ISAI Cap Venture sowie von Angel-Investoren wie GitHub-Mitbegründer Tom Preston Werner, Shopify-Mitbegründer Tobias Lütke und Red Hat-Mitbegründer Bob Young erhalten hat.

Die Tranche bewertet Liquid AI nach der Finanzierungsrunde mit 303 Millionen Dollar.

Neben Rus gehören dem Gründungsteam von Liquid AI Ramin Hasani (CEO), Mathias Lechner (CTO) und Alexander Amini (Chief Scientific Officer) an. Hasani war zuvor leitender KI-Wissenschaftler bei Vanguard, bevor er als Postdoktorand und wissenschaftlicher Mitarbeiter zum MIT kam, während Lechner und Amini langjährige MIT-Forscher sind, die – zusammen mit Hasani und Rus – an der Erfindung der Liquid Neural Networks beteiligt waren.

Was sind Liquid Neural Networks, fragen Sie sich vielleicht? Mein Kollege Brian Heater hat ausführlich darüber geschrieben, und ich empfehle Ihnen dringend, sein aktuelles Interview mit Rus zu diesem Thema zu lesen. Aber ich werde mein Bestes tun, um die wichtigsten Punkte zu erläutern.

Eine Forschungsarbeit mit dem Titel „Liquid Time-constant Networks", die Ende 2020 von Hasani, Rus, Lechner, Amini und anderen veröffentlicht wurde, machte Liquid Neural Networks nach mehreren Jahren des Auf und Ab bekannt; Liquid Neural Networks als Konzept gibt es schon seit 2018.

„Die Idee entstand ursprünglich an der Technischen Universität Wien, Österreich, im Labor von Professor Radu Grosu, wo ich meine Doktorarbeit und Mathias Lechner seinen Masterabschluss gemacht hat“, so Hasani in einem E-Mail-Interview mit TechCrunch. „Die Arbeit wurde dann in Rus' Labor am MIT CSAIL verfeinert und skaliert, wo Amini und Rus zu Mathias und mir stießen.“

Liquid Neural Networks bestehen aus „Neuronen“, die von Gleichungen gesteuert werden, die das Verhalten jedes einzelnen Neurons im Laufe der Zeit vorhersagen, wie die meisten anderen modernen Modellarchitekturen auch. Das „Liquid“ im Begriff „Liquid Neural Networks“ bezieht sich auf die Flexibilität der Architektur; inspiriert von den „Gehirnen“ von Fadenwürmern sind Liquid Neural Networks nicht nur viel kleiner als herkömmliche KI-Modelle, sondern benötigen auch viel weniger Rechenleistung.

Ich denke, es ist hilfreich, ein Liquid Neural Network mit einem typischen generativen KI-Modell zu vergleichen.

GPT-3, der Vorgänger von OpenAIs textgenerierendem, bildanalysierendem Modell GPT-4, enthält etwa 175 Milliarden Parameter und ~50.000 Neuronen – wobei „Parameter“ die Teile des Modells sind, die aus den Trainingsdaten gelernt wurden und im Wesentlichen die Fähigkeit des Modells für ein Problem definieren (im Fall von GPT-3 die Generierung von Text). Im Gegensatz dazu kann ein Liquid Neural Network, das für eine Aufgabe wie die Navigation einer Drohne durch eine Außenumgebung trainiert wurde, nur 20.000 Parameter und weniger als 20 Neuronen enthalten.

Im Allgemeinen bedeuten weniger Parameter und Neuronen weniger Rechenaufwand für das Training und den Betrieb des Modells, eine attraktive Aussicht in einer Zeit, in der die Rechenkapazität für KI knapp ist. Ein Liquid Neural Network, das für das autonome Fahren eines Autos entwickelt wurde, könnte theoretisch auf einem Raspberry Pi laufen, um ein konkretes Beispiel zu nennen.

Die geringe Größe und die übersichtliche Architektur von Liquid Neural Networks bieten den zusätzlichen Vorteil der Interpretierbarkeit. Es leuchtet ein, dass es leichter ist, die Funktion jedes einzelnen Neurons innerhalb eines Liquid Neural Networks herauszufinden, als die Funktion der etwa 50.000 Neuronen in GPT-3 zu entschlüsseln (obwohl es durchaus erfolgreiche Bemühungen gab, dies zu tun).

Es gibt bereits Modelle mit wenigen Parametern, die zum autonomen Fahren, zur Textgenerierung und mehr in der Lage sind. Aber geringer Aufwand ist nicht das Einzige, was für Liquid Neural Networks spricht.

Ein weiteres attraktives – und wohl einzigartiges – Merkmal von Liquid Neural Networks ist ihre Fähigkeit, ihre Parameter im Laufe der Zeit an den „Erfolg“ anzupassen. Die Netze betrachten Datenfolgen im Gegensatz zu den isolierten Ausschnitten oder Momentaufnahmen, die die meisten Modelle verarbeiten, und passen den Signalaustausch zwischen ihren Neuronen dynamisch an. Diese Eigenschaften ermöglichen es Liquid Neural Networks, mit Veränderungen in ihrer Umgebung und ihren Umständen umzugehen, auch wenn sie nicht darauf trainiert wurden, diese Veränderungen zu antizipieren, wie z. B. wechselnde Wetterbedingungen im Kontext des autonomen Fahrens.

In Tests haben sich Liquid Neural Networks bei der Vorhersage zukünftiger Werte in Datensätzen, die von der Atmosphärenchemie bis zum Autoverkehr reichen, gegen andere hochmoderne Algorithmen durchgesetzt. Aber noch beeindruckender – zumindest für den Autor dieses Artikels – sind die Leistungen, die sie bei der autonomen Navigation erzielt haben.

Anfang des Jahres trainierten Rus und der Rest des Teams von Liquid AI ein Liquid Neural Network mit Daten, die von einem professionellen menschlichen Drohnenpiloten gesammelt wurden. Anschließend setzten sie den Algorithmus auf einer Flotte von Quadrokoptern ein, die Langstrecken-, Zielverfolgungs- und andere Tests in verschiedenen Außenumgebungen, darunter ein Wald und ein dicht besiedeltes Stadtviertel, absolvierten.

Dem Team zufolge übertraf das Liquid Neural Network andere Modelle, die für die Navigation trainiert wurden – es schaffte es, Entscheidungen zu treffen, die die Drohnen auch bei Lärm und anderen Herausforderungen zu Zielen in zuvor unerforschten Gebieten führten. Darüber hinaus war das Liquid Neural Network das einzige Modell, das zuverlässig auf Szenarien verallgemeinern konnte, die es ohne Feinabstimmung noch nie gesehen hatte.

Drohnensuche und -rettung, Wildtierüberwachung und -zustellung gehören zu den naheliegenderen Anwendungen von Liquid Neural Networks. Aber Rus und der Rest des Teams von Liquid AI behaupten, dass die Architektur für die Analyse aller Phänomene geeignet ist, die im Laufe der Zeit schwanken, einschließlich Stromnetze, medizinischer Messwerte, Finanztransaktionen und schwerer Wetterereignisse. Solange es einen Datensatz mit sequenziellen Daten gibt, wie z. B. Videos, können Liquid Neural Networks damit trainiert werden.

Was genau erhofft sich also das Startup Liquid AI von dieser leistungsstarken neuen (bzw. neuen) Architektur? Ganz einfach: die Kommerzialisierung.

„[Wir konkurrieren] mit Unternehmen für Grundlagenmodelle, die GPTs bauen“, sagte Hasani – ohne Namen zu nennen, aber nicht ganz so subtil auf OpenAI und seine vielen Rivalen (z. B. Anthropic, Stability AI, Cohere, AI21 Labs usw.) im Bereich der generativen KI zeigend. „[Die Anschubfinanzierung] wird es uns ermöglichen, die besten neuen Liquid-Grundlagenmodelle jenseits von GPTs zu bauen.“

Man kann davon ausgehen, dass die Arbeit an der Architektur des Liquid Neural Networks weitergehen wird. Erst 2022 entwickelte Rus' Labor eine Möglichkeit, Liquid Neural Networks weit über das hinaus zu skalieren, was bisher rechnerisch praktikabel war; mit etwas Glück könnten weitere Durchbrüche in Sicht sein.

Neben dem Entwurf und dem Training neuer Modelle plant Liquid AI, seinen Kunden eine lokale und private KI-Infrastruktur sowie eine Plattform zur Verfügung zu stellen, die es diesen Kunden ermöglicht, ihre eigenen Modelle für alle erdenklichen Anwendungsfälle zu entwickeln – natürlich vorbehaltlich der Bedingungen von Liquid AI.

„Verantwortlichkeit und Sicherheit großer KI-Modelle sind von größter Bedeutung“, fügte Hasani hinzu. „Liquid AI bietet kapitaleffizientere, zuverlässigere, erklärbarere und leistungsfähigere Modelle für maschinelles Lernen, sowohl für domänenspezifische als auch für generative KI-Anwendungen.“

Liquid AI, das neben Boston auch in Palo Alto vertreten ist, hat ein 12-köpfiges Team. Hasani geht davon aus, dass diese Zahl bis Anfang nächsten Jahres auf 20 anwachsen wird.

Liquid AI: Eine neue Ära der KI-Modelle

Rahul Gupta

Veröffentlicht am 14. Januar 2024

Einführung

Im sich rasant entwickelnden Bereich der künstlichen Intelligenz (KI) hat sich aus den heiligen Hallen des Massachusetts Institute of Technology (MIT) ein vielversprechender Akteur entwickelt. Liquid AI, ein Spin-off, das von der Robotik-Koryphäe Daniela Rus mitgegründet wurde, hat es sich zur Aufgabe gemacht, die KI-Landschaft mit seinem innovativen Ansatz zur Entwicklung von KI-Systemen zu revolutionieren, die von Liquid Neural Networks angetrieben werden. Diese Liquid Neural Networks, ein relativ neues KI-Modell, bieten gegenüber herkömmlichen Modellen zahlreiche Vorteile, darunter höhere Effizienz, Anpassungsfähigkeit und Interpretierbarkeit. Unter der Leitung eines Teams brillanter Köpfe (Ramin Hasani, Joscha Bach, Alexander Amini, Mathias Lechner und viele mehr) und mit einer beträchtlichen Anschubfinanzierung befindet sich Liquid AI nicht mehr im Tarnmodus und ist bereit, einen bedeutenden Fortschritt bei der erklärbaren KI (XAI) zu erzielen und möglicherweise nicht nur dazu beizutragen, eine Zukunft der KI zu gestalten, die nicht nur ein mächtiges Werkzeug, sondern auch ein vertrauenswürdiger Verbündeter ist.

Eine neue Ära der KI-Modelle

Liquid AI hat große Aufmerksamkeit und Investitionen auf sich gezogen und eine beeindruckende Anschubfinanzierung erhalten, die das enorme Potenzial der Liquid-Neural-Network-Technologie des Start-ups unterstreicht. Liquid Neural Networks stellen einen Paradigmenwechsel in der KI-Modellierung dar, da diese Netze von der neuronalen Architektur von Fadenwürmern inspiriert sind und so konzipiert sind, dass sie kleiner, effizienter und hochgradig anpassungsfähig sind.

Die Vorteile von Liquid Neural Networks

Liquid Neural Networks bieten gegenüber herkömmlichen KI-Modellen mehrere entscheidende Vorteile, wie z. B. eine kompakte Größe und geringere Rechenanforderungen. Im Gegensatz zu größeren Modellen wie GPT-4, die Milliarden von Parametern und Zehntausende von Neuronen haben können, können Liquid Neural Networks mit nur 20.000 Parametern und weniger als 20 Neuronen arbeiten. Diese reduzierte Komplexität führt zu schnelleren Berechnungen und einer geringeren Belastung der Rechenressourcen, wodurch Liquid Neural Networks umweltfreundlicher sind.

Liquid Neural Networks zeichnen sich auch durch ihre Anpassungsfähigkeit aus. Diese Netze besitzen die einzigartige Fähigkeit, ihre Parameter dynamisch an veränderte Gegebenheiten anzupassen, auch wenn sie nicht exp