Generativ AI och språkmodeller
Token (AI-token)
På engelska: Token (AI token)
Förklaring
En AI-token är den minsta enheten av data som en AI-modell bearbetar för att förstå och generera text. Tänk dig det som legobitar som AI:n använder för att bygga meningar. När du skriver en fråga till en AI delas din text upp i tokens, och antalet tokens påverkar både kostnaden och hur mycket information AI:n kan hantera.
Ursprung och källa
Konceptet tokenisering har funnits länge inom NLP; populariserades med LLM:er under 2020-talet