LLMOps (LLM-drift)
Vad är LLMOps (LLM-drift)?
LLMOps (av engelskans LLM Operations, ungefär LLM-drift) är arbetet med att köra en AI-agent i produktion på ett sätt du kan lita på. Du spårar varje körning, mäter om svaret blev bra, listar ut vad som gick fel och skeppar förbättringar, om och om igen. Tänk på det som DevOps fast för språkmodeller: samma idé om att övervaka, mäta och förbättra ett system i drift, men anpassad till att en språkmodells svar inte är lika förutsägbara som vanlig kod.
I praktiken är det en loop i några steg. Först spåras körningen (tracing): vad frågades, vilka verktyg anropades, hur lång tid tog det och hur många tokens gick åt. Sedan utvärderas kvaliteten, ofta med en annan modell som domare, och driftshälsan mäts (svarstid, fel och tokenkostnad). Därefter diagnosticeras vad som brast, och en fix skeppas tillbaka in i systemet, till exempel en ny prompt, en ändrad modellinställning eller en justerad sökning. Vanliga verktyg för spårningen är LangFuse och LangSmith. Målet är en agent som blir bättre över tid i stället för att tyst börja svara fel.
Ursprung och källa
Framväxt ur MLOps- och DevOps-communityt runt 2023, i takt med att språkmodeller togs i produktion