Hugging Face präsentiert innovative Storage Buckets zur Optimierung von ML-Kosten

Die Verwaltung von Cloud-Ressourcen und die damit verbundenen Kosten stellen für Unternehmen eine kontinuierliche Herausforderung dar. Insbesondere im Bereich des Machine Learnings (ML) fallen große Mengen an Daten an, deren Speicherung und Transfer erhebliche Ausgaben verursachen können. Eine aktuelle Entwicklung im Ökosystem von Hugging Face bietet nun neue Ansätze zur Optimierung dieser Kosten, insbesondere im Hinblick auf AWS S3.

Hugging Face Storage Buckets: Eine neue Ära für ML-Artefakte

Hugging Face, eine zentrale Plattform für die ML-Community, hat kürzlich "Storage Buckets" eingeführt. Hierbei handelt es sich um eine neue Art von Repository, die speziell für die Speicherung von ML-Artefakten wie Trainings-Checkpoints, Optimierungszuständen und verarbeiteten Datensatz-Shards konzipiert wurde. Im Gegensatz zu den bestehenden Git-basierten Repositories sind diese Buckets mutable und nicht-versioniert, was sie ideal für die hohen Schreibdurchsätze und die transienten Datenströme macht, die in ML-Workflows üblich sind.

Die technische Grundlage: Xet-Deduplizierung

Die technische Basis der Storage Buckets bildet Xet, eine von Hugging Face entwickelte chunk-basierte Deduplizierungs-Engine. Diese Technologie zerlegt Dateien in inhaltsdefinierte Chunks und dedupliziert sie über die gesamte Speicherebene hinweg. Dies erweist sich als besonders vorteilhaft für ML-Workflows, da aufeinanderfolgende Trainings-Checkpoints oft einen Großteil ihrer Bytes gemeinsam haben. Eine 1 TB große Rohdatensatz, der zu einem 1,2 TB großen Output mit 80 % Überlappung verarbeitet wird, würde beispielsweise nur etwa 400 GB zusätzlichen Speicherplatz benötigen. Dies führt zu erheblichen Kosteneinsparungen, da die Abrechnung auf dedupliziertem Speicher und nicht auf den rohen geschriebenen Bytes basiert.

Wirtschaftliche Aspekte und CLI-Erweiterungen

Die Preisgestaltung für die Hugging Face Storage Buckets ist darauf ausgelegt, mit etablierten Cloud-Speicheranbietern wie AWS S3 zu konkurrieren. Bei größeren Volumina können die Kosten pro Terabyte deutlich unter denen von AWS S3 Standard liegen. Parallel zu dieser Neuerung wurde eine inoffizielle CLI-Erweiterung für Hugging Face entwickelt. Diese Erweiterung ermöglicht es Benutzern, ihre AWS S3 Buckets zu analysieren und potenzielle Einsparungen von 25 % bis 50 % aufzuzeigen. Ein zentraler Vorteil dieser Lösung ist die Möglichkeit, Egress- und API-Gebühren zu reduzieren oder ganz zu eliminieren, was oft einen erheblichen Kostenfaktor darstellt.

Strategien zur AWS S3 Kostenoptimierung

Die Kostenoptimierung im Bereich von AWS S3 ist ein komplexes Feld, das über die reine Speichermenge hinausgeht. Sie umfasst eine Kombination aus Speichervolumen, Anfragetypen (wie PUT, GET, LIST) und häufig übersehenen Egress-Kosten. Um Einsparungen zu erzielen, kommen verschiedene Strategien zum Einsatz:

Identifizierung von Kostenursachen

Bevor Optimierungsmaßnahmen ergriffen werden können, ist es entscheidend, die genauen Ursachen für übermäßige Ausgaben zu identifizieren. AWS Cost Explorer ermöglicht es, Kosten nach "Usage Type" zu filtern und so festzustellen, ob diese aus einer bestimmten Region oder Speicherklasse stammen. S3 Storage Lens bietet ein zentrales Dashboard, um die größten und am schnellsten wachsenden Buckets zu identifizieren, die für eine Optimierung in Frage kommen.

Automatisierte Tiering mit S3 Lifecycle Policies

Eine der direktesten Methoden zur Kostenreduzierung ist die Verlagerung von Daten in günstigere Speicherklassen, wenn diese älter werden. S3 Lifecycle Policies ermöglichen die Automatisierung dieser Übergänge basierend auf vordefinierten Regeln. Daten, die seltener als einmal im Monat abgerufen werden, aber weiterhin schnelle Zugriffszeiten erfordern, können beispielsweise in S3 Standard-Infrequent Access verschoben werden. Für langfristige Archivierungszwecke bieten S3 Glacier Instant Retrieval oder S3 Glacier Deep Archive erhebliche Einsparungen, wobei letzteres die kostengünstigste Speicheroption für Daten mit einer Toleranz von bis zu 12 Stunden Abrufzeit darstellt.

Intelligent-Tiering für unvorhersehbare Zugriffsmuster

Wenn Zugriffsmuster unregelmäßig oder unbekannt sind, kann S3 Intelligent-Tiering eine Lösung bieten. Diese Speicherklasse verschiebt Objekte automatisch zwischen Zugriffsebenen basierend auf den tatsächlichen Nutzungsmustern. Obwohl eine geringe monatliche Überwachungsgebühr anfällt, werden Abrufgebühren vollständig eliminiert, was diese Option zu einer sicheren Wahl für dynamische Workloads macht.

Minimierung von Egress- und Datentransfergebühren

Datentransferkosten stellen oft einen der teuersten "versteckten" Bestandteile einer S3-Rechnung dar. Während der Upload von Daten zu S3 kostenlos ist, können Transfers ins Internet oder über Regionen hinweg erhebliche Gebühren verursachen. Um diese zu minimieren, wird empfohlen, EC2-Instanzen und S3-Buckets in derselben Region zu halten. Für öffentlich zugängliche Inhalte kann die Integration von Amazon CloudFront die Egress-Gebühren reduzieren, indem Inhalte näher an den Benutzern zwischengespeichert werden. Zudem ermöglicht S3 Select das Abrufen spezifischer Zeilen aus großen Dateien, anstatt das gesamte Objekt zu übertragen.

Kontinuierliche Überwachung und Automatisierung

In schnelllebigen Umgebungen sind manuelle Audits oft unzureichend. Eine kontinuierliche Überwachung der Speicherkosten ist daher unerlässlich. AWS-Kostenallokations-Tags ermöglichen die Zuordnung von S3-Ausgaben zu spezifischen Produkten oder Teams, was die finanzielle Verantwortlichkeit erhöht. AWS Cost Anomaly Detection warnt bei Abweichungen von historischen Ausgabenmustern. Zudem können Lifecycle-Richtlinien konfiguriert werden, um alte Objektversionen oder unvollständige Mehrteil-Uploads automatisch zu löschen, die sonst unbemerkt zu einer Erhöhung der Rechnung führen könnten.

Fazit

Die Einführung der Hugging Face Storage Buckets und die Verfügbarkeit von CLI-Erweiterungen zur Kostenanalyse von AWS S3 Buckets bieten Unternehmen neue Möglichkeiten zur Optimierung ihrer Cloud-Ausgaben im ML-Bereich. Durch den gezielten Einsatz von Deduplizierungstechnologien, intelligenten Speicherklassen und automatisierten Lebenszyklusrichtlinien können erhebliche Einsparungen erzielt werden. Eine proaktive und analytische Herangehensweise an das Cloud-Kostenmanagement ist dabei entscheidend, um die Effizienz zu steigern und unerwartete Ausgaben zu vermeiden.

Bibliography: - LobeHub. (n.d.). hugging-face-cli. Retrieved from https://lobehub.com/skills/tayyabexe-skills-hugging-face-cli - Zhan, S. (n.d.). Hugging Face Launches Storage Buckets for ML Artifacts | Awesome Agents. Awesome Agents. - Wauplin. (2026, February 26). [v1.5.0]: Buckets API, Agent-first CLI, Spaces Hot-Reload and more. GitHub. - vuhp. (2026, January 31). vuhp/cloud-cost-cli. GitHub. - Ott. (2026, February 9). How to reduce Amazon S3 storage costs by 40% without breaking your app - Hykell. Hykell. - Dhandala, N. (2026, February 12). How to Reduce S3 Storage Costs with Lifecycle Policies. OneUptime. - Dhandala, N. (2026, February 12). How to Set Up S3 Storage Class Analysis to Optimize Costs. OneUptime. - Dhandala, N. (2026, February 12). How to Use S3 Intelligent-Tiering to Automatically Optimize Storage Costs. OneUptime. - Rateb, M. (2026, January 27). My current checklist for ridiculous cost-cutting on AWS S3 | by Mahmoud Rateb | Jan, 2026 | AWS in Plain English. AWS in Plain English. - Hacker News. (n.d.). Couldn't this backfire by possibly generating a large AWS bill?. Retrieved from https://news.ycombinator.com/item?id=41491066