Fietje: Ein neues Open-Source Sprachmodell für die niederländische Sprache

Fietje: Ein effizientes Open-Source Sprachmodell für die niederländische Sprache

Die Entwicklung von leistungsstarken Sprachmodellen (LLMs) schreitet rasant voran. Ein neuer Beitrag zu diesem Feld ist Fietje, eine Familie kleiner Sprachmodelle (SLMs), die speziell für die niederländische Sprache entwickelt wurde. Dieser Artikel beleuchtet die Entstehung, die Leistungsfähigkeit und die Besonderheiten von Fietje und ordnet das Modell in den aktuellen Kontext der niederländischen Sprachverarbeitung ein.

Grundlage und Entwicklung

Fietje basiert auf Phi 2, einem englischzentrierten Modell mit 2,7 Milliarden Parametern. Durch die Adaption an die niederländische Sprache mittels eines umfangreichen Datensatzes und gezieltem Training konnte Fietje bereits kurz nach Veröffentlichung vergleichbare Ergebnisse mit deutlich größeren Sprachmodellen erzielen. Ein zentraler Aspekt der Entwicklung ist die Transparenz und Reproduzierbarkeit: Fietje ist vollständig Open-Source, d.h. Modellgewichte, Datensätze, Trainings- und Evaluierungscode sind öffentlich zugänglich.

Leistung und Benchmarks

Die Leistungsfähigkeit von Fietje wurde anhand einer umfassenden Testsuite von Benchmarks in verschiedenen Bereichen der Sprachverarbeitung evaluiert. Diese umfassen unter anderem:

- Schlussfolgerndes Denken - Sentimentanalyse - Weltwissen - Linguistische Akzeptabilität - Wortbedeutungserkennung (Word Sense Disambiguation)

Die Ergebnisse verdeutlichen den rasanten Fortschritt im Bereich der LLMs. Fietje, ein vergleichsweise kleines Modell, kann bereits mit älteren, größeren und speziell für Niederländisch trainierten Modellen konkurrieren. Dies deutet auf eine vielversprechende Zukunft für die niederländische Sprachverarbeitung hin, in der auch kompakte LLMs zunehmend leistungsfähiger werden.

Training und Datensätze

Fietje durchlief drei Trainingsphasen:

1. Fortgesetztes Vortraining: Das ursprüngliche Phi 2 Modell wurde mit 28 Milliarden niederländischen Tokens weiter trainiert. Der Datensatz umfasst den gesamten niederländischen Teil von Wikipedia (ca. 15%) sowie niederländische Texte aus CulturaX. Ein Fokus lag dabei auf der Datenqualität durch intensive Filterung und Bereinigung.

2. Überwachtes Feintuning (Supervised Fine-Tuning, SFT): Um Fietje auf die Bearbeitung von Anweisungen und Konversationen vorzubereiten, wurde das vortrainierte Modell mit einem speziellen Datensatz feinabgestimmt. Dieser Datensatz besteht aus einer Kombination synthetischer und realer Konversationen.

3. Präferenzoptimierung (Preference Optimization): In der letzten Phase wurde das Modell durch Präferenzoptimierung weiter verfeinert, um die Qualität der generierten Texte als Chat-Assistent zu verbessern. Hierfür wurden bereinigte und bewertete Datensätze mit hochwertigen Präferenzdaten verwendet.

Nutzungsmöglichkeiten

Fietje kann auf verschiedene Weisen genutzt werden, darunter über die Hugging Face Web-Oberfläche, lokal über LM Studio oder Ollama, sowie direkt in Python mittels der Transformers Bibliothek. Die verschiedenen Varianten des Modells (Basismodell, Instruktionsmodell, Chatmodell) sind auf unterschiedliche Aufgaben spezialisiert und bieten somit Flexibilität für verschiedene Anwendungsfälle.

Ausblick

Fietje stellt einen wichtigen Schritt in der Entwicklung leistungsfähiger und effizienter Sprachmodelle für die niederländische Sprache dar. Die Open-Source Natur des Projekts fördert die Transparenz und Reproduzierbarkeit und ermöglicht es der Community, auf den Ergebnissen aufzubauen und die Entwicklung weiter voranzutreiben. Zukünftige Arbeiten könnten sich auf die Erweiterung des Datensatzes, die Verbesserung der Feinabstimmung und die Anpassung an spezifische Anwendungsbereiche konzentrieren. Bibliographie Vanroy, B. (o. J.). fietje. GitHub. Abgerufen am 29. Dezember 2024 von https://github.com/BramVanroy/fietje Vanroy, B. (o. J.). BramVanroy. Hugging Face. Abgerufen am 29. Dezember 2024 von https://huggingface.co/BramVanroy Vanroy, B. (2024). GEITje 7B Ultra: A Conversational Model for Dutch. arXiv. https://arxiv.org/pdf/2410.12835 Vanroy, B. (2024, 15. August). 👱♀️ Het is zover, the time has come! Fietje has arrived, a small and powerful #LLM for #Dutch. 🇧🇪🇳🇱. LinkedIn. https://www.linkedin.com/posts/bramvanroy_llm-dutch-llms-activity-7191073457948762113-Tg2m Vanroy, B. (o. J.). fietje-2b-instruct:f16. Ollama. Abgerufen am 29. Dezember 2024 von https://ollama.com/bramvanroy/fietje-2b-instruct:f16 Noels, S., De Blaere, J., & De Bie, T. (2024). A Dutch Financial Large Language Model. In 5th ACM International Conference on AI in Finance (ICAIF '24) (S. 1–9). Association for Computing Machinery. https://dl.acm.org/doi/fullHtml/10.1145/3677052.3698628 Noels, S., De Blaere, J., & De Bie, T. (2023). A Dutch Financial Large Language Model. ResearchGate. https://www.researchgate.net/publication/386002237_A_Dutch_Financial_Large_Language_Model Vanroy, B. (2024, 28. November). I'm involved with 4 accepted submissions to Computational Linguistics in the Netherlands (#CLIN34; https://lnkd.in/eee7Qqgr). LinkedIn. https://www.linkedin.com/posts/bramvanroy_clin34-llm-dutch-activity-7208383161016172546-ERj8 Hugging Face. (o. J.). Papers – 23. Dezember 2024. Abgerufen am 29. Dezember 2024 von https://huggingface.co/papers?date=2024-12-23 Vanroy, B. (2024, 23. Dezember). Fietje: An open and efficient LLM for Dutch (huggingface.co). Hacker News. https://news.ycombinator.com/item?id=40240153