Feinabstimmung von Stable Diffusion 3 Medium für Eigene Bildmodelle
Einführung
Die Welt der künstlichen Intelligenz und der Bildgenerierung hat mit der Veröffentlichung von Stable Diffusion 3 Medium (SD3M) einen neuen Meilenstein erreicht. Dieses Modell bietet verbesserte Architektur und mehr Flexibilität für kreative Kontrolle. Die Feinabstimmung von SD3M ermöglicht es, das Modell an spezifische Bedürfnisse der Bildgenerierung anzupassen, sei es in Bezug auf Stil, Komposition oder einzigartige Motive. Dieser Artikel bietet eine umfassende Anleitung zur Feinabstimmung von SD3M und hebt die Unterschiede zu früheren Modellen wie SD1.5 und SDXL hervor.
Warum Feinabstimmen?
Stable Diffusion 3 Medium bietet eine verbesserte Modellarchitektur und mehr Flexibilität für kreative Kontrolle. Durch die Feinabstimmung von SD3M können Sie das Modell an Ihre spezifischen Anforderungen zur Bildgenerierung anpassen, sei es in Bezug auf Stil, Komposition oder einzigartige Motive. Wenn Sie bereits mit SD1.5 oder SDXL gearbeitet haben, werden Sie feststellen, dass SD3M eine verbesserte Ausgabequalität und schnellere Trainingszeiten bietet.
Wer Ist Diese Anleitung Für?
Diese Anleitung richtet sich an Ingenieure oder technische Nutzer mit Erfahrung oder Interesse an der Feinabstimmung von Maschinenlernmodellen. Wenn Sie bereits mit der Feinabstimmung von SD1.5 oder SDXL vertraut sind, wird Ihnen diese Anleitung helfen, auf SD3M umzusteigen.
Schritte zur Feinabstimmung
1. Vorbereitung der Umgebung
Zunächst müssen Sie sicherstellen, dass Sie die richtige Umgebung eingerichtet haben. Dies umfasst die Installation der erforderlichen Bibliotheken und Tools wie Python 3.10 oder 3.11, Hugging Face CLI und Conda.
2. Installation der Abhängigkeiten
Folgen Sie den Anweisungen zur Installation der Abhängigkeiten:
- Klonen Sie das Repository mit `git clone --branch=release https://github.com/bghira/SimpleTuner.git`
- Wechseln Sie in das Verzeichnis SimpleTuner und aktivieren Sie die virtuelle Umgebung mit `python -m venv .venv` und `source .venv/bin/activate`
- Installieren Sie die Abhängigkeiten mit `pip install -U poetry pip` und `poetry install --no-root`
3. Konfiguration der Trainingsumgebung
Erstellen Sie eine Konfigurationsdatei `config.env` und eine `multibackend.json` Datei. Diese Dateien enthalten wichtige Einstellungen wie das Modell, das Sie trainieren möchten, und die Verzeichnisse für Ihre Daten.
4. Datensatzvorbereitung
Bereiten Sie Ihren Datensatz vor, indem Sie sicherstellen, dass Ihre Bilder und dazugehörigen Beschreibungen in den richtigen Verzeichnissen liegen. Achten Sie darauf, dass Ihre Bilder vorab auf die richtigen Größen und Seitenverhältnisse zugeschnitten sind.
5. Feinabstimmung Starten
Starten Sie die Feinabstimmung mit den folgenden Befehlen:
- `wandb login` (Optional, für Logging)
- `huggingface-cli login` (Erforderlich, um das Modell herunterzuladen)
Führen Sie das Trainingsskript aus:
```
accelerate launch train_dreambooth_lora_sd3.py \
--pretrained_model_name_or_path=${MODEL_NAME} \
--instance_data_dir=${INSTANCE_DIR} \
--output_dir=${OUTPUT_DIR} \
--mixed_precision="bf16" \
--instance_prompt "PROMPT FOR TRAINING IMAGES" \
--resolution=512 \
--train_batch_size=4 \
--gradient_accumulation_steps=4 \
--learning_rate=0.001 \
--report_to="wandb" \
--lr_scheduler="constant" \
--lr_warmup_steps=0 \
--max_train_steps=1000 \
--weighting_scheme="logit_normal" \
--seed="42" \
--use_8bit_adam \
--gradient_checkpointing \
--prior_generation_precision="bf16"
```
6. Inferenz Ausführen
Nach dem Training können Sie die Inferenz mit Ihrem neuen Modell durchführen:
```
python run_trained.py
```
Passen Sie den `lora_scale` Wert an, um die Balance zwischen dem ursprünglichen und dem feinabgestimmten Modell zu ändern.
Schlussfolgerung
Die Feinabstimmung von Stable Diffusion 3 Medium ermöglicht es Ihnen, hochqualitative und maßgeschneiderte Bilder zu generieren. Mit dieser Anleitung können Sie den Prozess der Feinabstimmung erfolgreich durchführen und die Unterschiede zwischen SD1.5, SDXL und SD3M verstehen. Nutzen Sie diese Möglichkeit, um Ihre kreativen Projekte auf das nächste Level zu heben.
Bibliographie
- https://stability.ai/news/stable-diffusion-3-medium-fine-tuning-tutorial
- https://stablediffusion3.net/blog-FineTune-Stable-Diffusion-3-Medium-On-Your-Own-Images-Locally-39335
- https://www.youtube.com/watch?v=tfWvh7SCSS0
- https://huggingface.co/stabilityai/stable-diffusion-3-medium-diffusers
- https://medium.com/@filipposantiano/fine-tuning-stable-diffusion-3-medium-with-16gb-vram-36f4e0d084e7
- https://tryolabs.com/blog/2022/10/25/the-guide-to-fine-tuning-stable-diffusion-with-your-own-images
- https://www.youtube.com/watch?v=v89kB4OScOA
- https://stability.ai/news/stable-diffusion-3-medium
