Automation bias (automatiseringsbias)
Vad är Automation bias (automatiseringsbias)?
Automation bias är vår tendens att lita mer på ett automatiskt systems förslag än på vårt eget omdöme. I AI-sammanhang betyder det att du ser att en modell flaggat eller föreslagit något och godkänner det utan att själv kontrollera, även när du hade kunskapen att upptäcka felet. Det luriga är att det drabbar experter lika gärna som nybörjare. I ett experiment vid Duolingos språktest lät man erfarna provgranskare, med över 90 procents träffsäkerhet, bedöma AI-larm om fusk: hälften av de påhittade larmen godkände de ändå, alltså en ren slantsingling.
Automation bias är själva risken bakom idén att 'en människa granskar AI:n', granskningen skyddar bara om människan faktiskt tänker efter. Motmedlet är sällan mer AI, utan bättre spelregler: behandla AI-signalen som ett preliminärt tips och kräv egna belägg innan du beslutar. I Duolingos fall räckte en ändrad instruktion till granskarna för att lyfta andelen korrekta avvisningar från 50 till 71 procent. Jämför kognitiv skuld, den långsiktiga urholkningen av eget omdöme, medan automation bias är vad som händer i det enskilda beslutet.
Ursprung och källa
Kathleen Mosier och Linda Skitka, 1990-talet (människa-automation-interaktion)