AI-utvärderingar (Evals)
Vad är AI-utvärderingar (Evals)?
AI-utvärderingar, eller Evals, är som kvalitetstester för AI-system. Precis som man testar en ny bil för att se att den är säker och fungerar som den ska, använder man Evals för att systematiskt bedöma hur väl en AI presterar sina uppgifter och minimera risker.
En eval är en samling testfall, till exempel frågor med kända rätta svar eller typiska uppgifter, som AI:n får lösa. Svaren bedöms automatiskt, av en annan AI eller av en människa, och bra evals kombinerar flera sätt. Det är svårare än att testa vanlig mjukvara, eftersom samma fråga kan ge olika svar varje gång. Därför kör man testerna många gånger. Skillnaden mot att själv pröva några frågor är att samma tester körs efter varje ändring, så att man ser om AI:n blev bättre eller sämre.
Ett exempel: ett företag med en kundtjänstbot samlar vanliga kundfrågor och kontrollerar efter varje uppdatering att boten fortfarande svarar rätt och i rätt ton. Utan evals märker man ofta problemen först när kunderna klagar, och det är svårt att veta om en ändring gjorde saken bättre eller sämre.
Ursprung och källa
OpenAI / Anthropic, populariserades under 2020-talet
Se även
Läs mer
Nu kan du det här ordet.
Hur många fler har du koll på? Spela Ordkollen →