Destillering (knowledge distillation)

Vad är Destillering (knowledge distillation)?

Destillering (knowledge distillation) är en teknik där en stor och kraftfull 'lärar'-modell används för att träna en mindre 'elev'-modell. Eleven lär sig efterlikna lärarens svar och kan sedan köras mycket snabbare och billigare, ofta utan att tappa särskilt mycket förmåga. Det är så små modeller som kan köras på en mobil ofta byggs, och metoden blev brett uppmärksammad genom DeepSeek-debatten 2025.

Ursprung och källa

Geoffrey Hinton m.fl., 2015

Se även

• LLM
• Transformer
• Kvantisering

Läs mer

• Hinton m.fl. (2015): Distilling the Knowledge in a Neural Network
• Quanta Magazine (2025): How Distillation Makes AI Models Smaller and Cheaper