Generativ AI och språkmodeller
Distillation (knowledge distillation)
På engelska: Knowledge distillation
Förklaring
Knowledge distillation är en teknik där en stor och kraftfull 'lärar'-modell används för att träna en mindre 'elev'-modell. Eleven lär sig efterlikna lärarens svar och kan sedan köras mycket snabbare och billigare, ofta utan att tappa särskilt mycket förmåga. Det är så små modeller som kan köras på en mobil ofta byggs, och metoden blev brett uppmärksammad genom DeepSeek-debatten 2025.
Ursprung och källa
Geoffrey Hinton m.fl., 2015