AI alignment
Vad är AI alignment?
AI alignment handlar om att se till att AI-system agerar på ett sätt som överensstämmer med mänskliga värderingar, mål och intentioner. Det svåra är glappet mellan det vi säger och det vi menar: en AI kan göra precis det den har tränats till och ändå nå sina mål på oväntade eller till och med skadliga sätt. Ett exempel många har mött är en chattbot som håller med dig och berömmer din idé i stället för att säga emot, eftersom den har tränats på att människor gav höga betyg åt svar de tyckte om.
Dagens AI tränas snarare än programmeras, så det går inte att skriva in rätt värderingar direkt. I stället låter man människor betygsätta modellens svar och tränar den på betygen, ger den skrivna principer att följa och testar den noga innan den släpps. Ingen av metoderna räcker ensam, och därför är alignment fortfarande ett öppet forskningsområde.
Alignment är en del av det större fältet AI-säkerhet. Alignment frågar om AI:n strävar mot det vi faktiskt avser. AI-säkerhet omfattar dessutom till exempel att människor kan missbruka en AI som fungerar som tänkt, och att systemen ska vara tekniskt robusta. Ju mer självständigt en AI arbetar, desto viktigare blir alignment, eftersom ingen människa hinner granska varje steg.
Ursprung och källa
Norbert Wiener, 1960; Eliezer Yudkowsky populariserade begreppet under 2000-talet
Se även
Läs mer
Nu kan du det här ordet.
Hur många fler har du koll på? Spela Ordkollen →