Künstliche Intelligenz: Neuer Algorithmus könnte Energiebedarf drastisch senken

Künstliche Intelligenz (KI) hat in den letzten Jahren enorme Fortschritte gemacht, doch der hohe Energiebedarf dieser komplexen Systeme stellt eine Herausforderung dar. Ein neuer Algorithmus könnte nun eine Lösung für dieses Problem bieten und den Energiebedarf von KI-Systemen um bis zu 95 Prozent reduzieren.

Energiefresser KI

Die rasante Entwicklung und steigende Popularität von KI-Anwendungen, insbesondere im Bereich des maschinellen Lernens, führt zu einem exponentiell wachsenden Energiebedarf. Dieser Trend wird durch die zunehmende Größe und Komplexität der Modelle, die für Aufgaben wie Bild- und Spracherkennung, Textgenerierung oder autonomes Fahren eingesetzt werden, weiter verstärkt. Der hohe Energieverbrauch von KI-Systemen hat verschiedene negative Auswirkungen. Zum einen entstehen durch den Betrieb der Rechenzentren, in denen die KI-Modelle trainiert und betrieben werden, erhebliche CO2-Emissionen, die zum Klimawandel beitragen. Zum anderen steigen die Betriebskosten für Unternehmen und Forschungseinrichtungen, die KI-Anwendungen entwickeln und einsetzen.

Linear-Komplexitäts-Multiplikation: Ein Schlüssel zur Effizienzsteigerung

Ein Team von Forschern des Unternehmens BitEnergy AI hat nun einen Algorithmus entwickelt, der das Potenzial hat, den Energiebedarf von KI-Systemen deutlich zu reduzieren. Die sogenannte "Linear-Komplexitäts-Multiplikation" (L-Mul) ersetzt komplexe Gleitkomma-Multiplikationen in KI-Modellen durch einfachere Integer-Additionen. Gleitkomma-Multiplikationen sind ein grundlegender Bestandteil vieler KI-Algorithmen, insbesondere im Bereich des Deep Learning. Diese Operationen sind jedoch sehr rechenintensiv und energieverbrauchend. Integer-Additionen hingegen benötigen deutlich weniger Rechenleistung und Energie.

Vielversprechende Ergebnisse in ersten Tests

In ersten Tests konnte L-Mul den Energiebedarf für elementweise Gleitkomma-Tensor-Multiplikationen um bis zu 95 Prozent und für Punktprodukte um 80 Prozent reduzieren. Die Forscher testeten ihren Ansatz an verschiedenen Sprach-, Bild- und Denksportaufgaben, darunter Sprachverständnis, strukturelles Denken, Mathematik und die Beantwortung von Fragen des gesunden Menschenverstandes. Besonders vielversprechend ist die Tatsache, dass L-Mul direkt auf den Aufmerksamkeitsmechanismus in Transformer-Modellen angewendet werden kann, ohne die Leistung der Modelle wesentlich zu beeinträchtigen. Der Aufmerksamkeitsmechanismus ist ein zentraler Bestandteil moderner Sprachmodelle wie GPT-4.

Ausblick: L-Mul könnte KI-Entwicklung beschleunigen

BitEnergy AI sieht in L-Mul ein großes Potenzial, die akademische und wirtschaftliche Wettbewerbsfähigkeit sowie die technologische Souveränität im Bereich der KI zu stärken. L-Mul könnte es großen Unternehmen und Forschungseinrichtungen ermöglichen, KI-Modelle schneller und kostengünstiger zu entwickeln und einzusetzen. Das Team plant, L-Mul-Algorithmen auf Hardwareebene zu implementieren und Programmierschnittstellen (APIs) für das Modelldesign auf hoher Ebene zu entwickeln. Ziel ist es, Text-, Symbol- und multimodale KI-Modelle zu trainieren, die für L-Mul-Hardware optimiert sind. Die Entwicklung von L-Mul ist ein wichtiger Schritt auf dem Weg zu einer energieeffizienteren KI. Der neue Algorithmus könnte dazu beitragen, die negativen Auswirkungen des hohen Energiebedarfs von KI-Systemen zu reduzieren und die Entwicklung und den Einsatz von KI-Anwendungen in Zukunft nachhaltiger zu gestalten.

Quellen

https://the-decoder.com/new-algorithm-could-reduce-energy-requirements-of-ai-systems-by-up-to-95-percent/ https://aventine.org/energy-consumption-ai-lab-grown-meat https://www.nature.com/articles/s41467-024-50088-4 https://news.mit.edu/2023/new-tools-available-reduce-energy-that-ai-models-devour-1005 https://www.sciencedirect.com/science/article/pii/S2211467X22002115 https://www.sciencedirect.com/science/article/pii/S2352484721015055 https://www.linkedin.com/pulse/ai-new-crypto-terms-energy-consumption-martin-flusberg-g9b5e https://www.weforum.org/agenda/2024/07/generative-ai-energy-emissions/ https://arxiv.org/html/2406.15732v1 https://energytechnologyrevolution.com/what-clean-energy-supporters-need-to-know-about-ai/