Generativ AI och språkmodeller
Transformer
Vad är Transformer?
En Transformer är en typ av neuralt nätverk som revolutionerat hur AI bearbetar sekventiell data, som text och tal. Istället för att behandla information steg för steg, kan den titta på hela sekvensen samtidigt, vilket gör den mycket effektiv på att förstå sammanhang. Denna förmåga är grundläggande för moderna AI-modeller som ChatGPT.
Ursprung och källa
Google ('Attention Is All You Need'), 2017