LLM-as-a-judge
Vad är LLM-as-a-judge?
LLM-as-a-judge är tekniken att låta en språkmodell bedöma och sätta betyg på text, oftast svar som en annan AI har genererat. I stället för att en människa läser och poängsätter tusentals svar får modellen den uppgiften, utifrån en instruktion eller en uppsättning kriterier (se rubric). Det är som att låta en van lärare rätta proven i stället för att göra det själv: långt snabbare och billigare, men bara så bra som instruktionerna läraren fått.
Metoden slog igenom när språkmodellerna blev tillräckligt bra för att deras omdöme skulle stämma hyfsat överens med människors, och används idag flitigt i evals, för att jämföra modeller och för att filtrera eller ranka svar i produktion. Fördelen är skala: en LLM-domare kan bedöma enorma mängder text dygnet runt. Nackdelen är att den ärver modellens svagheter. Den kan vara partisk för längre eller mer självsäkra svar, luta åt text som liknar dess egen stil, och luras av självsäkert nonsens. Därför kalibrerar man ofta domaren mot mänskliga bedömningar innan man litar på den.
Ursprung och källa
Zheng m.fl. (MT-Bench / Chatbot Arena), 2023