Neues Speicherangebot von Hugging Face für KI-Daten und Modelle

Die Verwaltung großer Datensätze und komplexer Modellgewichte stellt im Bereich der Künstlichen Intelligenz (KI) eine persistente Herausforderung dar. Angesichts des exponentiellen Wachstums von KI-Modellen und den dazugehörigen Trainingsdaten sind effiziente und kostengünstige Speicherlösungen für Unternehmen und Forschungseinrichtungen von entscheidender Bedeutung. Hugging Face, eine zentrale Plattform für die KI-Community, hat kürzlich eine Erweiterung ihrer Speicherangebote angekündigt, die darauf abzielt, diesen Bedarf zu decken und die Skalierbarkeit für B2B-Anwender zu verbessern.

Erweiterung des Speicherangebots durch Hugging Face

Hugging Face hat mit der Einführung von Speicher-Add-ons auf dem Hub auf die steigenden Anforderungen an Speicherkapazitäten reagiert. Diese Erweiterungen sind darauf ausgelegt, die Speicherung von Datensätzen und Modellgewichten zu vereinfachen und zu optimieren. Das neue Angebot startet bei 12 USD pro Terabyte (TB) pro Monat und ist bis zu einer Kapazität von 50 TB skalierbar. Es ist sowohl für öffentliche als auch für private Speicherbereiche verfügbar, was Unternehmen flexible Optionen für ihre spezifischen Bedürfnisse bietet.

Technologische Basis: Xet Deduplizierung

Ein Kernaspekt des neuen Speicherangebots ist die Integration der Xet Deduplizierungstechnologie. Xet wurde speziell für die Anforderungen der KI/ML-Entwicklung konzipiert und verwendet eine inhaltsdefinierte Chunking-Methode. Diese Methode zerlegt Dateien in Byte-Level-Chunks und dedupliziert diese über den gesamten Speicherbereich. Das bedeutet, dass bei der Neuschulung eines Modells, bei der sich beispielsweise nur 5 % der Gewichte ändern, nur diese 5 % hochgeladen, gespeichert und abgerechnet werden. Dies führt zu einer erheblichen Reduzierung des Datenvolumens, das übertragen und gespeichert werden muss, und ermöglicht schnellere Uploads und Downloads.

Traditionelle Speicherlösungen behandeln jede Datei als eine Einheit, und selbst kleine Änderungen erfordern oft das erneute Hochladen der gesamten Datei. Im Gegensatz dazu erkennt Xet durch sein Chunking-Verfahren, welche Teile einer Datei sich geändert haben, und speichert nur die neuen oder modifizierten Chunks. Dies kann in realen Anwendungsszenarien zu einer bis zu vierfachen Reduzierung des Datenvolumens pro Upload führen.

Vorteile für B2B-Anwender

Für Unternehmen im KI-Sektor ergeben sich aus diesem erweiterten Speicherangebot mehrere wesentliche Vorteile:

• Kostenoptimierung: Durch die Deduplizierung wird nur für tatsächlich einzigartige Daten bezahlt. Dies kann die Speicherkosten erheblich senken, insbesondere bei iterativen Entwicklungsprozessen, bei denen sich Modellversionen oder Datensätze nur geringfügig unterscheiden.
• Effizienzsteigerung: Schnellere Upload- und Downloadzeiten durch Xet ermöglichen beschleunigte Entwicklungszyklen. Dies ist entscheidend für Teams, die große Modelle und Datensätze verwalten und häufig aktualisieren müssen.
• Skalierbarkeit: Die Möglichkeit, den Speicherbedarf flexibel von 1 TB bis zu 50 TB zu skalieren, unterstützt Unternehmen dabei, ihre KI-Projekte ohne anfängliche Investitionsbarrieren zu erweitern.
• Vereinfachte Datenverwaltung: Das System ist darauf ausgelegt, ML-Workflows zu unterstützen, indem es das Speichern von Modellen, Datensätzen und Artefakten vereinfacht, ohne den Overhead traditioneller Versionskontrollsysteme wie Git für sehr große Dateien.
• Transparente Preisgestaltung: Hugging Face bietet eine volumenbasierte Preisgestaltung, die mit der Nutzung skaliert. Der integrierte Content Delivery Network (CDN)-Dienst ist ohne zusätzliche Kosten enthalten, was die Datenbereitstellung weiter optimiert.

Preisstruktur und Vergleich

Die Preisgestaltung für die Speicher-Add-ons ist gestaffelt und bietet Mengenrabatte für höhere Volumina. Für öffentliche Repositories beginnen die Kosten bei 12 USD/TB/Monat und können bei über 500 TB auf 8 USD/TB/Monat sinken. Private Repositories sind etwas teurer, beginnend bei 18 USD/TB/Monat und sinkend auf 12 USD/TB/Monat bei über 500 TB. Dieser Ansatz soll eine vorhersehbare Abrechnungsstruktur bieten, im Gegensatz zu potenziell variablen Kostenmodellen anderer Cloud-Anbieter, bei denen unerwartete Gebühren anfallen können, wie es beispielsweise bei BigQuery der Fall sein kann, wo Abrechnungen auf der Grundlage von referenzierten und nicht nur tatsächlich verarbeiteten Daten erfolgen können.

Im Vergleich zu generischen Cloud-Speicherlösungen wie AWS S3 (ca. 23 USD/TB/Monat) oder Backblaze Overdrive (ca. 15 USD/TB/Monat) positioniert sich Hugging Face mit seinen Preisen zwischen 8 und 12 USD/TB/Monat für öffentliche Speicher als wettbewerbsfähig, insbesondere unter Berücksichtigung der ML-spezifischen Optimierungen.

Anwendungsbereiche und zukünftige Implikationen

Die neuen Speicherlösungen sind für eine Vielzahl von Anwendungsfällen konzipiert:

• Datensatz-Management: Unternehmen können Rohdaten aus verschiedenen Quellen in einem einzigen Bucket konsolidieren, ohne Git-Overhead oder Dateianzahlbeschränkungen. Die Daten sind sofort nach dem Upload verfügbar und können über das CDN an GPUs gestreamt werden.
• Modelltraining und Checkpoints: Während des Modelltrainings entstehen oft Terabytes an Zwischen-Checkpoints. Diese können effizient gespeichert werden, und dank Xet wird nur der Anteil der Daten abgerechnet, der sich tatsächlich von einem Checkpoint zum nächsten ändert.
• Agenten und autonome Workflows: KI-Agenten erhalten einen Ort zum Lesen und Schreiben von Daten, wobei Buckets als gemeinsame Dateisysteme für mehrstufige Pipelines dienen.

Die Integration dieser Speicher-Add-ons unterstreicht die Strategie von Hugging Face, eine umfassende Plattform für den gesamten Lebenszyklus von KI-Anwendungen zu bieten. Durch die Bereitstellung von spezialisiertem Speicher, der auf die Besonderheiten von ML-Daten zugeschnitten ist, adressiert Hugging Face einen kritischen Engpass in der KI-Entwicklung. Dies könnte nicht nur die Effizienz und Kosteneffizienz für B2B-Kunden verbessern, sondern auch die Innovationsgeschwindigkeit innerhalb der gesamten KI-Community erhöhen.

Die Entwicklungen im Bereich der Speicherlösungen für KI-Assets sind ein klares Indiz dafür, wie sich die Infrastruktur an die wachsenden Anforderungen der Künstlichen Intelligenz anpasst. Für Unternehmen bedeutet dies die Notwendigkeit, ihre Speicherstrategien kontinuierlich zu bewerten und Lösungen zu identifizieren, die sowohl leistungsfähig als auch wirtschaftlich sind. Die Angebote von Hugging Face, insbesondere durch die Nutzung von Xet, stellen hierbei eine bemerkenswerte Entwicklung dar, die es Wert ist, von Entscheidungsträgern in der KI-Branche genau analysiert zu werden.

Bibliography:

- Hugging Face. (n.d.). Storage. Retrieved from https://huggingface.co/storage - Hugging Face. (n.d.). Pricing. Retrieved from https://huggingface.co/pricing - Hugging Face. (n.d.). Storage limits. Retrieved from https://huggingface.co/docs/hub/storage-limits - Hugging Face. (n.d.). Xet: our Storage Backend. Retrieved from https://huggingface.co/docs/hub/storage-backends - Hugging Face. (n.d.). Deduplication. Retrieved from https://huggingface.co/docs/hub/xet/deduplication - Lepers, A. (n.d.). Why Your AI Strategy Needs Hugging Face Storage. Hugging Face Blog. Retrieved from https://huggingface.co/blog/AdrianLepers/why-your-ai-strategy-needs-hugging-face-storage - Wu, Y. (2025, March 19). BigQuery's Ridiculous Pricing Model Cost Us $10,000 in Just 22 Seconds!!! Data Engineer Things. Retrieved from https://blog.dataengineerthings.org/bigquerys-ridiculous-pricing-model-cost-us-10-000-in-just-22-seconds-7d52e3e4ae60 - XetHub. (2024, May 31). Pricing. Retrieved from https://about.xethub.com/pricing - XetHub. (2024, May 31). Pricing tables. Retrieved from https://about.xethub.com/pricing/pricing-tables