Neue Entwicklungen in der Anpassung von Large Language Models für soziale Netzwerke

Die kontinuierliche Evolution von Künstlicher Intelligenz, insbesondere im Bereich der Large Language Models (LLMs), hat weitreichende Implikationen für diverse Anwendungsfelder. Ein aktueller Fokus liegt auf der Spezialisierung dieser Modelle für spezifische Domänen, um deren Leistungsfähigkeit und Relevanz in komplexen Umgebungen zu optimieren. Eine solche Domäne sind die sozialen Netzwerke (Social Networking Services, SNS), die durch ihre dynamische Natur, informelle Kommunikation und kulturelle Diversität besondere Anforderungen an KI-Modelle stellen. Die jüngsten Entwicklungen im Projekt "RedOne 2.0" bieten hierzu aufschlussreiche Einblicke in die Methodik und die erzielten Fortschritte.

Herausforderungen für LLMs in sozialen Netzwerken

Soziale Netzwerke stellen für große Sprachmodelle eine Reihe einzigartiger Herausforderungen dar. Dazu gehören:

• Heterogene Arbeitslasten: Die Vielfalt der Inhalte und Interaktionen reicht von kurzen Status-Updates bis zu ausführlichen Diskussionen.
• Schnell wechselnde Normen und Slang: Die Sprache in sozialen Medien ist einem ständigen Wandel unterworfen, was eine kontinuierliche Anpassung der Modelle erfordert.
• Mehrsprachige und kulturell diverse Korpora: Plattformen wie Xiaohongshu umfassen Nutzer aus verschiedenen Sprach- und Kulturräumen, was zu erheblichen Verschiebungen in der Datenverteilung führen kann.

Bisherige Ansätze, wie das Supervised Fine-Tuning (SFT), können Modelle zwar spezialisieren, führen aber oft zu einem Kompromiss zwischen der Leistung innerhalb der bekannten Datenverteilung (In-Distribution Gains) und der Robustheit bei unbekannten Daten (Out-of-Distribution Robustness). Dies gilt insbesondere für kleinere Modelle.

RedOne 2.0: Ein dreistufiges Post-Training-Paradigma

Um diesen Herausforderungen zu begegnen, wurde RedOne 2.0 entwickelt. Dieses SNS-orientierte LLM basiert auf einem progressiven, durch Reinforcement Learning (RL) priorisierten Post-Training-Paradigma. Ziel ist eine schnelle und stabile Anpassung an die spezifischen Gegebenheiten von sozialen Netzwerken. Der Trainingsprozess gliedert sich in drei Hauptphasen:

1. Exploratives Lernen (Exploratory Learning)

In dieser ersten Phase wird das Modell auf sorgfältig kuratierten SNS-Korpora trainiert. Der Zweck ist es, eine anfängliche Ausrichtung auf die Domäne der sozialen Netzwerke zu etablieren und gleichzeitig systematische Schwachstellen des Modells zu identifizieren. Dies dient als Grundlage für die nachfolgenden, gezielteren Anpassungsschritte.

2. Gezieltes Fine-Tuning (Targeted Fine-Tuning)

Anschließend wird ein gezieltes Fine-Tuning angewendet. Hierbei wird SFT selektiv auf die zuvor diagnostizierten Lücken und Problembereiche des Modells angewendet. Um ein "katastrophales Vergessen" (Catastrophic Forgetting) von gelernten allgemeinen Fähigkeiten zu verhindern, wird gleichzeitig ein kleiner Anteil allgemeiner Daten in den Trainingsprozess integriert. Dies stellt sicher, dass das Modell seine breiten Fähigkeiten beibehält, während es sich auf die spezifischen SNS-Anforderungen konzentriert.

3. Verfeinerndes Lernen (Refinement Learning)

Die dritte Phase beinhaltet ein erneutes Anwenden von Reinforcement Learning (RL), das durch SNS-zentrierte Signale priorisiert wird. Dieser Schritt dient dazu, die erzielten Verbesserungen zu konsolidieren und die Kompromisse zwischen verschiedenen Aufgabenbereichen zu harmonisieren. Durch die RL-Priorisierung kann das Modell seine Leistung in den SNS-Aufgaben weiter optimieren und eine ausgewogene Adaption erreichen.

Leistung und Effizienz

Die Evaluierung von RedOne 2.0 erfolgte über eine Vielzahl von Aufgaben, die drei Hauptkategorien umfassen. Ein Modell mit einer Größe von 4 Milliarden Parametern (4B Scale) zeigte eine durchschnittliche Verbesserung von etwa 2,41 Punkten gegenüber einem suboptimalen 7B-Basislinienmodell. Darüber hinaus konnte RedOne 2.0 eine durchschnittliche Leistungssteigerung von etwa 8,74 Punkten gegenüber dem Basismodell erzielen, wobei weniger als die Hälfte der Datenmenge erforderlich war, die für SFT-zentrierte Methoden wie RedOne (die Vorgängerversion) benötigt wurde. Dies deutet auf eine überlegene Dateneffizienz und Stabilität bei kompakten Modellgrößen hin.

Die Ergebnisse weisen darauf hin, dass RedOne 2.0 eine wettbewerbsfähige und kosteneffiziente Baseline für domänenspezifische LLMs in SNS-Szenarien etabliert. Es ermöglicht eine Steigerung der Fähigkeiten, ohne dabei die Robustheit des Modells zu beeinträchtigen.

Praktische Anwendungen und Online-Tests

Die praktische Anwendbarkeit von RedOne 2.0 wurde auch in Online-Szenarien getestet. Bei der Erkennung schädlicher Inhalte konnte das Modell die Expositionsrate von problematischen Beiträgen um 11,23% senken. Im Bereich der Post-View-Suchvorschläge, also der Empfehlung von Inhalten nach der Betrachtung eines Beitrags, wurde eine Steigerung der Klickrate um 14,95% verzeichnet. Diese Ergebnisse unterstreichen das Potenzial von RedOne 2.0, nicht nur die Effizienz der Plattform zu erhöhen, sondern auch die Nutzererfahrung und -sicherheit zu verbessern.

Ein konkretes Beispiel hierfür ist die Generierung von Suchanfragen: Während ein Basismodell eine allgemeine Suchanfrage zu einem Produkt generierte, konnte RedOne 2.0 direkt die Kern-Keywords des Produkts identifizieren, was die Kaufabsicht der Nutzer besser widerspiegelt. Dies zeigt die verbesserte Fähigkeit des Modells, relevante und umsetzbare Anfragen zu generieren, die den tatsächlichen Nutzerbedürfnissen entsprechen.

Ablationsstudie und Robustheit

Eine Ablationsstudie, die den Beitrag jeder Trainingsphase untersuchte, zeigte, dass das explorative Lernen eine entscheidende Grundlage für die nachfolgende Spezialisierung bildet. Während das explorative Lernen allein nur begrenzte sofortige Gewinne zeigte, führte die Kombination mit SFT und RL zu signifikanten Verbesserungen. Es wurde festgestellt, dass sowohl exploratives Lernen als auch SFT zu einem Leistungsabfall bei allgemeinen Benchmarks führen können, während RL diesen Rückgang effektiv mindern und die Gesamtergebnisse verbessern konnte. Das vollständige dreistufige Trainingsparadigma erzielte die stärksten Ergebnisse bei spezialisierten Benchmarks, während die Leistung im allgemeinen Bereich wettbewerbsfähig blieb.

Die Analyse der Out-of-Domain (OOD) Fähigkeiten zeigte, dass die Einbeziehung von Daten aus dem allgemeinen Bereich dazu beiträgt, dass Modelle besser auf OOD-Aufgaben generalisieren können. Dieser Trend war bei größeren Modellen deutlicher ausgeprägt, was die Bedeutung der Beibehaltung allgemeiner Fähigkeiten während der Domänenanpassung unterstreicht.

Grenzen und zukünftige Forschungsrichtungen

Trotz der Erfolge weist das vorgeschlagene Verfahren auch Limitationen auf. Der umfangreiche Datenverarbeitungsprozess erfordert beträchtliche Ressourcen. Zudem erhöhen die aktuellen Modellgrößen die Latenzzeiten bei der Online-Inferenz und die Betriebskosten, was den Einsatz in ressourcenbeschränkten Umgebungen einschränken könnte. Zukünftige Arbeiten könnten sich auf leichtere Architekturen konzentrieren, einschließlich Modellkomprimierung durch Quantisierung und Destillation, sowie auf routing-effiziente Designs wie Mixture-of-Experts (MoE), um Latenz und Kosten ohne Genauigkeitsverluste zu reduzieren.

Ethische Implikationen

Die Integration großer Sprachmodelle in Anwendungsdienste erfordert eine sorgfältige Berücksichtigung potenzieller Modellhalluzinationen und Sicherheitsrisiken. Für einen zuverlässigen Dienst ist eine Implementierung notwendig, die negative Auswirkungen auf Nutzer minimiert. Zudem wird die Einhaltung strenger Datenschutzstandards während der Datenerfassung und -verarbeitung betont, um die Sicherheit persönlicher Informationen zu gewährleisten.

Die Entwicklungen im RedOne 2.0-Projekt verdeutlichen die komplexen Anforderungen und das enorme Potenzial von domänenspezifischen LLMs in dynamischen Umgebungen wie sozialen Netzwerken. Die angewandte dreistufige Trainingsstrategie bietet einen vielversprechenden Ansatz, um Spezialisierung mit Robustheit zu verbinden und somit die Leistungsfähigkeit von KI in realen Anwendungsszenarien maßgeblich zu verbessern.

Bibliography: - Zhao, F., Lu, C., Qian, H., Shi, F., Meng, Z., Huang, J., Tang, X., Xie, Z., Ye, Z., Xu, Z., Hu, Y., & Cao, S. (2025). RedOne 2.0: Rethinking Domain-specific LLM Post-Training in Social Networking Services. arXiv preprint arXiv:2511.07070. - Zhao, F., Lu, C., Wang, Y., Xie, Z., Liu, Z., Qian, H., Huang, J., Shi, F., Meng, Z., Guo, H., He, M., Lyu, X., Ye, Z., Liu, W., Wang, B., & Cao, S. (2025). RedOne: Revealing Domain-specific LLM Post-Training in Social Networking Services. Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing: Industry Track, 2648-2674. - Guo, H., Zhao, F., Cao, S., Lyu, X., Liu, Z., Wang, Y., Wang, B., Li, Z., Lu, C., Xu, Z., & Hu, Y. (2025). Redefining Machine Translation on Social Network Services with Large Language Models. arXiv preprint arXiv:2504.07901. - Hugging Face. (2025, November 11). Daily Papers. Retrieved from https://huggingface.co/papers/date/2025-11-11 - Sun, Y. (2025, November 10). Artificial Intelligence | Cool Papers - Immersive Paper Discovery. Retrieved from https://papers.cool/arxiv/cs.AI - ChatPaper. (2025, November 11). Explore and AI Chat with the Academic Papers. Retrieved from https://chatpaper.com/chatpaper?id=2&date=1762790400&page=1