Definitie
Fine-tuning is het proces van het nemen van een voorgetraind taalmodel en het verder trainen op een kleinere, taakspecifieke dataset. Dit past de algemene capaciteiten van het model aan om uit te blinken in specifieke taken of domeinen—zoals juridische documentanalyse, belastingadvies of medische diagnose—zonder vanaf nul te trainen.
Waarom het belangrijk is
Fine-tuning overbrugt de kloof tussen algemene modellen en gespecialiseerde applicaties:
- Domeinexpertise — modellen leren branchespecifieke terminologie en patronen
- Taakoptimalisatie — verbetert prestaties op specifieke workflows (classificatie, extractie, samenvatting)
- Efficiëntie — vereist veel minder data en rekenkracht dan pre-training
- Maatwerk — stemt modelgedrag af op organisatievereisten
- Verminderde hallucinatie — domeingerichte training verbetert feitelijke nauwkeurigheid
Fine-tuning is vaak het verschil tussen een capabele demo en een productierijp systeem.
Hoe het werkt
┌────────────────────────────────────────────────────────────┐
│ FINE-TUNING PIPELINE │
├────────────────────────────────────────────────────────────┤
│ │
│ ┌──────────────────────┐ ┌──────────────────────┐ │
│ │ VOORGETRAIND MODEL │ │ DOMEIN DATASET │ │
│ │ (GPT, LLaMA, etc.) │ │ (1K-100K voorb.) │ │
│ │ Miljarden params │ │ Taakspecifieke data │ │
│ └──────────┬───────────┘ └──────────┬───────────┘ │
│ │ │ │
│ └───────────┬───────────────┘ │
│ ▼ │
│ ┌────────────────────────────────────────────────────┐ │
│ │ TRAININGSPROCES │ │
│ │ • Lage learning rate (vermijd catastrofaal verg.) │ │
│ │ • Weinig epochs (typisch 1-5) │ │
│ │ • Optioneel: LoRA, QLoRA (parameter-efficiënt) │ │
│ └────────────────────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ ┌────────────────────────────────────────────────────┐ │
│ │ GEFINETUNED MODEL │ │
│ │ Algemene kennis + Domeinexpertise │ │
│ │ Geoptimaliseerd voor specifieke taak/stijl │ │
│ └────────────────────────────────────────────────────┘ │
└────────────────────────────────────────────────────────────┘Fine-tuning benaderingen:
- Volledige fine-tuning — werkt alle modelparameters bij (duur, krachtig)
- LoRA/QLoRA — traint kleine adapterlagen, bevriest basismodel
- Instructie tuning — traint op instructie-respons-paren
- RLHF — gebruikt menselijke feedback om modelgedrag af te stemmen
- Prefix tuning — leert taakspecifieke soft prompts
Veelgestelde vragen
V: Wanneer moet ik fine-tunen vs. prompt engineering gebruiken?
A: Begin met prompt engineering—het is sneller en goedkoper. Fine-tune wanneer: je consistente outputformattering nodig hebt, domeinspecifieke terminologie hebt, betere nauwkeurigheid nodig hebt dan prompting bereikt, of tokengebruik wilt reduceren.
V: Hoeveel data heb ik nodig voor fine-tuning?
A: Typisch 500-10.000 kwalitatieve voorbeelden. Kwaliteit is belangrijker dan kwantiteit. Voor LoRA kunnen zelfs 100-500 voorbeelden verbetering tonen op specifieke taken.
V: Wat is catastrofaal vergeten?
A: Wanneer een model zijn originele capaciteiten verliest tijdens het leren van nieuwe. Voorkomen door lage learning rates, beperkte epochs en parameter-efficiënte methoden zoals LoRA.
V: Is fine-tuning duur?
A: Volledige fine-tuning van grote modellen vereist significante GPU-resources. Parameter-efficiënte methoden (LoRA, QLoRA) reduceren kosten met 10-100x, waardoor fine-tuning toegankelijk wordt op consumentenhardware.
Gerelateerde termen
- LLM — basismodellen die gefinetuned worden
- LoRA — parameter-efficiënte fine-tuning methode
- Transfer Learning — breder concept dat fine-tuning implementeert
- Instruction Tuning — specifieke fine-tuning aanpak
Referenties
Howard & Ruder (2018), “Universal Language Model Fine-tuning for Text Classification”, ACL. [5.000+ citaties]
Hu et al. (2022), “LoRA: Low-Rank Adaptation of Large Language Models”, ICLR. [4.000+ citaties]
Wei et al. (2022), “Finetuned Language Models Are Zero-Shot Learners”, ICLR. [3.500+ citaties]
Ouyang et al. (2022), “Training language models to follow instructions with human feedback”, NeurIPS. [6.000+ citaties]
References
Howard & Ruder (2018), “Universal Language Model Fine-tuning for Text Classification”, ACL. [5,000+ citations]
Hu et al. (2022), “LoRA: Low-Rank Adaptation of Large Language Models”, ICLR. [4,000+ citations]
Wei et al. (2022), “Finetuned Language Models Are Zero-Shot Learners”, ICLR. [3,500+ citations]
Ouyang et al. (2022), “Training language models to follow instructions with human feedback”, NeurIPS. [6,000+ citations]