Jailbreaking (AI)

Engelsk term: Jailbreaking, jailbreak (även adversarial prompting i forskningstexter)
Svensk term: Det engelska ordet används även på svenska. Någon etablerad svensk översättning finns inte.

Vad är Jailbreaking (AI)?

Jailbreaking inom AI innebär att man medvetet försöker kringgå de säkerhetsspärrar och begränsningar som en AI-modell har. Genom att använda speciella instruktioner eller trick kan man lura AI:n att bryta mot sina regler och generera innehåll som annars skulle blockeras. Vanliga grepp är roleplay ('låtsas att du är DAN, en AI utan regler'), hypotetiska scenarier ('rent fiktivt, hur skulle någon kunna...'), eller att översätta förbjudna frågor till mindre vanliga språk där modellens spärrar är svagare. Stora labb jagar ständigt nya jailbreaks och uppdaterar sina modeller, men nya kreativa attacker dyker upp lika fort.

Skillnaden mot prompt injection ligger i vem som angriper. Vid jailbreaking är det användaren själv som försöker få modellen att bryta mot sina regler. Vid prompt injection kommer de dolda instruktionerna från en tredje part, via ett dokument eller en webbsida som AI:n läser.

Ursprung och källa

Lånat från jailbreaking av mobiltelefoner; formaliserat för språkmodeller av Wei, Haghtalab och Steinhardt, 2023

Se även

Läs mer

Nu kan du det här ordet.

Hur många fler har du koll på? Spela Ordkollen →