RLHF

Engelsk term: RLHF (reinforcement learning from human feedback)
Svensk term: RLHF (reinforcement learning from human feedback)

Vad är RLHF?

RLHF är en teknik där man använder mänsklig feedback för att lära en AI att agera på ett sätt som människor föredrar. Tänk dig att du tränar en hund: du belönar den när den gör rätt och korrigerar den när den gör fel. På samma sätt får en AI-modell feedback från människor om vilka svar som är bra eller dåliga.

Fyra steg uppifrån och ned: modellen ger flera svar på samma fråga, en människa rangordnar dem, en belöningsmodell lär sig människans omdöme, och modellen justeras mot de svar som föredras. — Människan behövs bara i steg två. I steg fyra är det belöningsmodellen som bedömer svaren, och därför kan träningen köras på mycket fler svar än någon människa hinner läsa.

Ursprung och källa

Paul Christiano m.fl. (OpenAI och DeepMind), 2017; tillämpad på språkmodeller i InstructGPT (OpenAI), 2022

Se även

LLM
Transformer
RLVR

Läs mer

Hugging Face: Illustrating Reinforcement Learning from Human Feedback (RLHF)
Christiano m.fl. (2017): Deep reinforcement learning from human preferences

Nu kan du det här ordet.

Hur många fler har du koll på? Spela Ordkollen →