Fine-Tuning

Definition

Fine-Tuning ist der Prozess, ein vortrainiertes Sprachmodell zu nehmen und es auf einem kleineren, aufgabenspezifischen Datensatz weiter zu trainieren. Dies passt die allgemeinen Fähigkeiten des Modells an, um bei spezifischen Aufgaben oder Domänen—wie juristische Dokumentenanalyse, Steuerberatung oder medizinische Diagnose—zu glänzen, ohne von Grund auf zu trainieren.

Warum es wichtig ist

Fine-Tuning überbrückt die Lücke zwischen Allzweckmodellen und spezialisierten Anwendungen:

• Domänenexpertise — Modelle lernen branchenspezifische Terminologie und Muster
• Aufgabenoptimierung — verbessert Leistung bei spezifischen Workflows (Klassifikation, Extraktion, Zusammenfassung)
• Effizienz — erfordert weit weniger Daten und Rechenleistung als Pre-Training
• Anpassung — stimmt Modellverhalten auf Organisationsanforderungen ab
• Reduzierte Halluzination — domänenfokussiertes Training verbessert faktische Genauigkeit

Fine-Tuning ist oft der Unterschied zwischen einer fähigen Demo und einem produktionsreifen System.

Wie es funktioniert

┌────────────────────────────────────────────────────────────┐
│                   FINE-TUNING PIPELINE                     │
├────────────────────────────────────────────────────────────┤
│                                                            │
│  ┌──────────────────────┐    ┌──────────────────────┐      │
│  │   VORTRAINIERTES     │    │  DOMÄNEN-DATENSATZ   │      │
│  │   MODELL (GPT, etc.) │    │  (1K-100K Beispiele) │      │
│  │   Milliarden Params  │    │  Aufgabenspez. Daten │      │
│  └──────────┬───────────┘    └──────────┬───────────┘      │
│             │                           │                  │
│             └───────────┬───────────────┘                  │
│                         ▼                                  │
│  ┌────────────────────────────────────────────────────┐    │
│  │              TRAININGSPROZESS                      │    │
│  │  • Niedrige Learning Rate (katastr. Vergessen)     │    │
│  │  • Wenige Epochs (typisch 1-5)                     │    │
│  │  • Optional: LoRA, QLoRA (parameter-effizient)     │    │
│  └────────────────────────────────────────────────────┘    │
│                         │                                  │
│                         ▼                                  │
│  ┌────────────────────────────────────────────────────┐    │
│  │              FEINABGESTIMMTES MODELL               │    │
│  │  Allgemeinwissen + Domänenexpertise                │    │
│  │  Optimiert für spezifische Aufgabe/Stil            │    │
│  └────────────────────────────────────────────────────┘    │
└────────────────────────────────────────────────────────────┘

Fine-Tuning-Ansätze:

1. Vollständiges Fine-Tuning — aktualisiert alle Modellparameter (teuer, leistungsstark)
2. LoRA/QLoRA — trainiert kleine Adapter-Schichten, friert Basismodell ein
3. Instruction Tuning — trainiert auf Instruktions-Antwort-Paaren
4. RLHF — nutzt menschliches Feedback zur Verhaltensausrichtung
5. Prefix Tuning — lernt aufgabenspezifische Soft Prompts

Häufige Fragen

F: Wann Fine-Tuning vs. Prompt Engineering verwenden?

A: Beginnen Sie mit Prompt Engineering—es ist schneller und günstiger. Fine-Tuning bei: konsistenter Ausgabeformatierung, domänenspezifischer Terminologie, besserer Genauigkeit als Prompting erreicht, oder Token-Reduktion.

F: Wie viele Daten brauche ich für Fine-Tuning?

A: Typisch 500-10.000 qualitativ hochwertige Beispiele. Qualität zählt mehr als Quantität. Bei LoRA können schon 100-500 Beispiele Verbesserungen bei spezifischen Aufgaben zeigen.

F: Was ist katastrophales Vergessen?

A: Wenn ein Modell seine ursprünglichen Fähigkeiten beim Erlernen neuer verliert. Verhindert durch niedrige Learning Rates, begrenzte Epochs und parameter-effiziente Methoden wie LoRA.

F: Ist Fine-Tuning teuer?

A: Vollständiges Fine-Tuning großer Modelle erfordert erhebliche GPU-Ressourcen. Parameter-effiziente Methoden (LoRA, QLoRA) reduzieren Kosten um 10-100x und machen Fine-Tuning auf Consumer-Hardware zugänglich.

Verwandte Begriffe

• LLM — Basismodelle die feinabgestimmt werden
• LoRA — parameter-effiziente Fine-Tuning-Methode
• Transfer Learning — breiteres Konzept das Fine-Tuning implementiert
• Instruction Tuning — spezifischer Fine-Tuning-Ansatz

Referenzen

Howard & Ruder (2018), “Universal Language Model Fine-tuning for Text Classification”, ACL. [5.000+ Zitationen]

Hu et al. (2022), “LoRA: Low-Rank Adaptation of Large Language Models”, ICLR. [4.000+ Zitationen]

Wei et al. (2022), “Finetuned Language Models Are Zero-Shot Learners”, ICLR. [3.500+ Zitationen]

Ouyang et al. (2022), “Training language models to follow instructions with human feedback”, NeurIPS. [6.000+ Zitationen]

References

Howard & Ruder (2018), “Universal Language Model Fine-tuning for Text Classification”, ACL. [5,000+ citations]

Hu et al. (2022), “LoRA: Low-Rank Adaptation of Large Language Models”, ICLR. [4,000+ citations]

Wei et al. (2022), “Finetuned Language Models Are Zero-Shot Learners”, ICLR. [3,500+ citations]

Ouyang et al. (2022), “Training language models to follow instructions with human feedback”, NeurIPS. [6,000+ citations]