Neue Möglichkeiten zur Integration von Remote-Speicher in maschinelles Lernen mit hf-mount
Inhaltsverzeichnis
Optimieren Sie Prozesse, automatisieren Sie Workflows und fördern Sie Zusammenarbeit – alles an einem Ort.
Das Wichtigste in Kürze
- Hugging Face hat mit hf-mount ein Tool vorgestellt, das die direkte Einbindung von Remote-Speicher wie Buckets, Modellen und Datensätzen als lokales Dateisystem ermöglicht.
- hf-mount umgeht das vollständige Herunterladen großer Dateien, indem es bei Bedarf Daten abruft (Lazy Loading).
- Die Implementierung erfolgt über FUSE (Filesystem in Userspace) oder NFS (Network File System) und unterstützt sowohl Lese- als auch Schreibzugriffe auf Buckets.
- Das Tool ist insbesondere für maschinelles Lernen konzipiert, da es den Umgang mit großen Datensätzen und Modellen vereinfacht und Speichergrenzen lokaler Maschinen überwindet.
- Es bietet eine konsistente Schnittstelle für Agenten und ML-Workflows, die auf Dateisystemoperationen basieren.
Die Integration und Verwaltung großer Datenmengen ist eine zentrale Herausforderung in modernen KI-Anwendungen. Hugging Face, eine führende Plattform für maschinelles Lernen, hat kürzlich eine Lösung namens hf-mount vorgestellt, die diesen Prozess erheblich vereinfachen soll. Dieses Tool ermöglicht es Benutzern, Speicher-Buckets, Modelle und Datensätze direkt als lokales Dateisystem einzubinden, ohne dass eine vollständige lokale Kopie erforderlich ist.
Revolution im Umgang mit großen Datenmengen
Die Notwendigkeit, riesige Modelle und Datensätze zu verwalten, stellt Entwickler und Forscher oft vor erhebliche Probleme. Lokale Speicherplatzbeschränkungen und die Zeit für das Herunterladen großer Dateien bremsen die Entwicklung. hf-mount adressiert diese Problematik, indem es einen transparenten Zugriff auf Remote-Speicher ermöglicht. Anstatt Daten vollständig herunterzuladen, werden diese bei Bedarf abgerufen (Lazy Loading), was sowohl Zeit als auch lokalen Speicherplatz spart.
Technische Grundlagen: FUSE und NFS
hf-mount nutzt zwei bewährte Technologien zur Bereitstellung der Dateisystemfunktionalität: FUSE (Filesystem in Userspace) und NFS (Network File System). FUSE bietet eine tiefere Integration in das Betriebssystem und ist für Linux und macOS verfügbar, erfordert jedoch unter Umständen Root-Rechte oder spezielle Treiber wie macFUSE. NFS hingegen ist plattformübergreifend einsetzbar, benötigt keine Root-Rechte und ist daher flexibler.
Die Funktionsweise von hf-mount basiert darauf, Dateisystemoperationen in API-Aufrufe des Hugging Face Hubs umzusetzen. Wenn eine Datei angefordert wird, ruft hf-mount die entsprechenden Daten vom Hub ab. Ein adaptiver Prefetch-Puffer sorgt dabei für eine effiziente Datenbereitstellung, indem er bei sequenziellen Zugriffen vorausschauend Daten lädt.
Anwendungsbereiche und Vorteile für B2B-Kunden
Für Unternehmen, die im Bereich des maschinellen Lernens tätig sind, bietet hf-mount mehrere Vorteile:
- Effizienter Umgang mit großen Modellen und Datensätzen: Das Laden von Modellen und Datensätzen ohne vollständigen Download ist besonders nützlich in Umgebungen mit begrenztem Speicherplatz oder bei der Arbeit mit sehr großen Artefakten.
- Optimierung von ML-Workloads: Das Tool ist ideal für leseintensive ML-Workloads wie Training, Inferenz und Evaluierung. Es ermöglicht den direkten Zugriff auf Daten, was die Entwicklungszyklen beschleunigt.
- Agentic Storage: Für KI-Agenten, die auf Dateisystemoperationen wie
ls,catoderfindangewiesen sind, bietet hf-mount eine nahtlose Integration und vereinfacht die Interaktion mit Remote-Daten. - Read-Write-Funktionalität für Buckets: Hugging Face Buckets, die als S3-ähnlicher Objektspeicher dienen, können mit hf-mount nicht nur gelesen, sondern auch beschrieben werden. Dies ist entscheidend für das Speichern von Trainings-Checkpoints, Logs und anderen veränderlichen Daten.
- Subfolder Mounting: Die Möglichkeit, nur spezifische Unterordner eines Repositories einzuhängen, erhöht die Granularität und Effizienz beim Datenzugriff.
Konsistenzmodell und Schreiboperationen
hf-mount verfolgt ein Eventual-Consistency-Modell, was bedeutet, dass Änderungen im Remote-Speicher nicht sofort auf dem lokalen Mountpunkt sichtbar sein müssen. Ein Hintergrund-Polling-Mechanismus erkennt Änderungen und aktualisiert die lokale Ansicht. Die Standard-TTL (Time-To-Live) für Metadaten beträgt 10 Sekunden, und ein vollständiges Baum-Polling erfolgt standardmäßig alle 30 Sekunden.
Bei Schreiboperationen bietet hf-mount zwei Modi:
- Streaming-Modus (Standard): Dieser Modus ist für sequentielle, append-only-Schreibvorgänge optimiert. Daten werden im Speicher gepuffert und beim Schließen der Datei hochgeladen.
- Advanced-Modus (via
--advanced-writes): Dieser Modus unterstützt zufällige Schreibvorgänge, Suchen und Überschreiben. Dateien werden zuerst auf eine lokale Festplatte zwischengespeichert, bevor sie asynchron in den Remote-Speicher hochgeladen werden.
Integration und Zukunftsperspektiven
Die Integration von hf-mount in bestehende Infrastrukturen wird durch Tools wie den hf-csi-driver für Kubernetes erleichtert, der das Einhängen von Buckets und Repositories als Kubernetes-Volumes ermöglicht. Dies fördert die Skalierbarkeit und den Einsatz in containerisierten Umgebungen.
Die Entwicklung von hf-mount unterstreicht das Bestreben von Hugging Face, die Zugänglichkeit und Handhabung von KI-Ressourcen kontinuierlich zu verbessern. Durch die Bereitstellung einer flexiblen und effizienten Schnittstelle für Remote-Speicher adressiert hf-mount eine kritische Anforderung in der sich schnell entwickelnden Landschaft des maschinellen Lernens. Es ist zu erwarten, dass solche Lösungen die Entwicklung und Bereitstellung von KI-Modellen und -Anwendungen weiter beschleunigen werden.
Bibliographie
- Hugging Face. (2026, March 24). Introducing hf-mount. Hugging Face Changelog. https://huggingface.co/changelog/hf-mount - Hugging Face. (n.d.). Filesystem API. Hugging Face Docs. https://huggingface.co/docs/huggingface_hub/en/package_reference/hf_file_system - Hugging Face. (2026, March 10). Introducing Storage Buckets on the Hugging Face Hub. Hugging Face Blog. https://huggingface.co/blog/storage-buckets - Hugging Face. (n.d.). huggingface/hf-mount - GitHub. GitHub. https://github.com/huggingface/hf-mount - Wauplin. (2026, February 26). [v1.5.0]: Buckets API, Agent-first CLI, Spaces Hot-Reload and more. GitHub. https://github.com/huggingface/huggingface_hub/releases/tag/v1.5.0 - lhoestq. (2026, February 13). Basic Bucket API support in HfFileSystem · Pull Request #3807 · huggingface/huggingface_hub. GitHub. https://github.com/huggingface/huggingface_hub/pull/3807 - ghost. (2025, December 10). Transparently mount super-lage directory using FUSE · Issue #590 · huggingface/xet-core. GitHub. https://github.com/huggingface/xet-core/issues/590 - kimminw00. (2024, July 21). Add support for remote filesystem paths in Hugging Face CLI (--local-dir) · Issue #2407 · huggingface/huggingface_hub. GitHub. https://github.com/huggingface/huggingface_hub/issues/2407 - stefanches. (2025, October 15). Upload a large folder from S3 to a dataset - Hugging Face Forums. Hugging Face Forums. https://discuss.huggingface.co/t/upload-a-large-folder-from-s3-to-a-dataset/169176Artikel jetzt als Podcast anhören
.svg){kind=logo}
.png){kind=logo}
