Säkerhet, etik och kvalitet

Hallucination (AI-hallucination)

Engelsk term
Hallucination (AI hallucination)
Svensk term
Hallucination (AI-hallucination)

Vad är Hallucination (AI-hallucination)?

AI-hallucination syftar på när en AI-modell genererar information som låter trovärdig men är faktamässigt felaktig eller helt påhittad. En AI kan till exempel hitta på citat, hänvisa till studier som aldrig gjorts eller ange källor som inte finns, och presentera dem med samma självförtroende som allt annat den säger.

Det händer eftersom en språkmodell inte slår upp fakta. Den förutsäger vilka ord som sannolikt kommer härnäst, utifrån mönster i det den tränats på. Under träningen har den dessutom lärt sig att en gissning oftare lönar sig än att säga "jag vet inte". När kunskapen tar slut fyller den därför luckan med något som låter rätt, ungefär som en elev på ett prov som hellre skriver något troligt än lämnar raden tom.

En hallucination är inte samma sak som föråldrad information. Frågar du om något som ändrats efter att modellen tränades återger den det den har lärt sig, och det var sant en gång. En hallucination har aldrig varit sann. Risken är att du inte hör skillnaden: svaret låter lika säkert när det är påhittat, så en påhittad källa kan hamna i en rapport utan att någon märker det. Kontrollera därför citat, siffror och källor innan du använder dem.

Ursprung och källa

Termen dök först upp inom datorseende (Baker och Kanade, 2000); inom språkteknik om påhittad text från omkring 2018–2019 (Lee m.fl., 2019); populariserades brett med ChatGPT, 2022–2023

Se även

Läs mer