Perplexiteit

Definitie

Perplexiteit is een meting van hoe goed een kansmodel een sample voorspelt. Voor taalmodellen vertegenwoordigt het de onzekerheid van het model bij het voorspellen van het volgende token—lagere perplexiteit betekent dat het model minder “perplex” of meer zeker is. Wiskundig is perplexiteit de geëxponentieerde gemiddelde negatieve log-likelihood per token.

Waarom het belangrijk is

Perplexiteit is een fundamentele evaluatiemetriek:

• Modelvergelijking — vergelijk verschillende modellen op dezelfde dataset
• Trainingsmonitoring — volg verbetering tijdens training
• Domeinbeoordeling — meet hoe goed model past bij specifieke tekst
• Quantisatie-impact — evalueer kwaliteitsverlies door compressie
• Interpreteerbare schaal — kan begrepen worden als effectieve vocabulairegrootte

Perplexiteit helpt beantwoorden: “Hoe verrast is het model door deze tekst?”

Hoe het werkt

┌────────────────────────────────────────────────────────────┐
│                       PERPLEXITEIT                         │
├────────────────────────────────────────────────────────────┤
│                                                            │
│  Formule: PPL = exp(-1/N × Σ log P(token_i | context))     │
│                                                            │
│  Voorbeeld: "De kat zat"                                   │
│  ───────────────────────                                   │
│                                                            │
│  Token        P(token|context)    log P                    │
│  ─────────────────────────────────────────                 │
│  "De"         0.10                -2.30                    │
│  "kat"        0.25                -1.39                    │
│  "zat"        0.40                -0.92                    │
│                                                            │
│  Gemiddelde log P = (-2.30 + -1.39 + -0.92) / 3 = -1.54    │
│  Perplexiteit = exp(1.54) = 4.66                           │
│                                                            │
│  ┌────────────────────────────────────────────────┐        │
│  │  INTERPRETATIE:                                │        │
│  │                                                │        │
│  │  PPL ≈ "effectieve keuzes per positie"       │        │
│  │                                                │        │
│  │  PPL = 1:   Model is 100% zeker              │        │
│  │  PPL = 10:  ~10 gelijk waarschijnlijke opties│        │
│  │  PPL = 50k: Willekeurig (vocab) = geen leren │        │
│  └────────────────────────────────────────────────┘        │
│                                                            │
│  PERPLEXITEITSSCHAAL:                                      │
│  ────────────────────                                      │
│  │◄────────────────────────────────────────────►│          │
│  1        10        50       100      1000    50000        │
│  Perfect   Goed     Redelijk Oké      Slecht  Willekeur    │
│                                                            │
│  TYPISCHE WAARDEN:                                         │
│  ─────────────────                                         │
│  GPT-4 op gewone tekst:    ~10-20                          │
│  Klein model:              ~50-100                         │
│  Domein mismatch:          ~100-500                        │
│  Ongetraind model:         ~vocab grootte                  │
│                                                            │
└────────────────────────────────────────────────────────────┘

Perplexiteit benchmarks:

Veelgestelde vragen

V: Wat is een “goede” perplexiteitsscore?

A: Het hangt af van de dataset en modelgrootte. State-of-the-art modellen behalen perplexiteit ~15-25 op standaard benchmarks zoals WikiText. Binnen een project, focus op relatieve verbeteringen in plaats van absolute getallen.

V: Kan perplexiteit modellen met verschillende tokenizers vergelijken?

A: Niet direct—verschillende tokenizers produceren verschillende aantallen tokens voor dezelfde tekst. Vergelijk modellen met dezelfde tokenizer, of normaliseer op karakter/woordaantal in plaats van tokenaantal.

V: Waarom kan perplexiteit laag zijn maar generatiekwaliteit slecht?

A: Perplexiteit meet gemiddelde voorspellingsnauwkeurigheid, niet outputkwaliteit. Een model kan lage perplexiteit hebben door gewone woorden goed te voorspellen terwijl het faalt bij coherente langvormige generatie. Gebruik perplexiteit naast andere metrieken.

V: Hoe relateert perplexiteit tot cross-entropie loss?

A: Perplexiteit = exp(cross-entropie). Ze meten hetzelfde op verschillende schalen. Cross-entropie wordt typisch tijdens training gebruikt (makkelijkere gradiëntberekening); perplexiteit is meer interpreteerbaar voor rapportage.

Gerelateerde termen

• Verliesfunctie — trainingsdoel
• LLM — taalmodellen die geëvalueerd worden
• Tokenisatie — beïnvloedt perplexiteitsberekening
• Fine-tuning — verbetert domeinperplexiteit

Referenties

Jelinek et al. (1977), “Perplexity—a measure of the difficulty of speech recognition tasks”, JASA. [Fundamenteel paper]

Merity et al. (2017), “Regularizing and Optimizing LSTM Language Models”, ICLR. [1.500+ citaties]

Brown et al. (2020), “Language Models are Few-Shot Learners”, NeurIPS. [15.000+ citaties]

Radford et al. (2019), “Language Models are Unsupervised Multitask Learners”, OpenAI. [10.000+ citaties]

References

Jelinek et al. (1977), “Perplexity—a measure of the difficulty of speech recognition tasks”, JASA. [Foundational paper]

Merity et al. (2017), “Regularizing and Optimizing LSTM Language Models”, ICLR. [1,500+ citations]

Brown et al. (2020), “Language Models are Few-Shot Learners”, NeurIPS. [15,000+ citations]

Radford et al. (2019), “Language Models are Unsupervised Multitask Learners”, OpenAI. [10,000+ citations]