Perplexity

Vad är Perplexity?

Perplexity är ett mått på hur bra en språkmodell är på att förutsäga nästa ord i en text. Tänk dig att modellen läser en mening ord för ord och varje gång ska gissa vad som kommer härnäst. Blir den "förvånad" av det rätta ordet är perplexity hög, gissar den lätt rätt är värdet lågt. Lägre perplexity betyder alltså att modellen är bättre på att förutsäga texten, och måttet används flitigt i benchmarks för att jämföra hur olika modeller presterar på samma testdata.

Ursprung och källa

Frederick Jelinek m.fl. (IBM), 1977

Se även

• LLM (stor språkmodell)
• AI-utvärderingar (Evals)
• Token (AI-token)
• Träningsdata

Läs mer

• Jurafsky & Martin: Speech and Language Processing, kap. 3 (N-gram Language Models)
• Wikipedia: Perplexity