Generativ AI och språkmodeller
Förträning
Vad är Förträning?
Förträning är det första steget när en AI-modell byggs, där modellen får läsa enorma mängder text och lär sig en enda sak: att gissa nästa ord. Det upprepas miljarder gånger. Det låter enkelt, men på vägen fångar modellen upp språk, fakta och mönster ur allt den läst. Tänk dig någon som läst igenom ett helt bibliotek: väldigt beläst, men ännu inte tränad att hjälpa just dig.
Det är nästa steg, finjusteringen, som formar den förtränade modellen till en assistent som svarar på frågor och följer instruktioner. Förträningen är det som är P:et i GPT (generative pre-trained transformer). För dig som användare är den viktigaste konsekvensen att modellens allmänkunskap är fryst i det ögonblick förträningsdatan tar slut. Det är därför en modell har ett kunskapsstopp och behöver webbsökning eller egna dokument för att veta något om det som hänt efter det.
Ursprung och källa
Etablerat inom djupinlärning sedan 2000-talet, i nuvarande språkmodellmening från OpenAI (GPT-1), 2018