AI-säkerhet
Vad är AI-säkerhet?
AI safety handlar om att säkerställa att AI-system utvecklas och används på ett sätt som är säkert och gynnar mänskligheten, utan att orsaka oavsiktlig skada. Forskningen inom AI safety syftar till att förhindra olyckor, missbruk eller andra negativa konsekvenser från AI-system. I praktiken undersöker fältet konkreta frågor som alignment, alltså hur man får modellen att faktiskt följa människors intentioner, och hur man bygger motståndskraft mot jailbreak-försök där användare försöker lura systemet förbi sina spärrar. Stora labb som Anthropic och OpenAI har egna safety-team som arbetar med just detta.
Ursprung och källa
Roman Yampolskiy, 2010; MIRI och Anthropic