Generativ AI och språkmodeller
MoA (Mixture of Agents)
Vad är MoA (Mixture of Agents)?
Mixture of Agents (MoA) är en teknik för att få bättre svar från språkmodeller genom att låta flera AI-svar på samma fråga vägas ihop av en modell till ett enda, starkare svar. Det är som en panel: några modeller (kallade proposers eller referensmodeller) ger var sin syn på frågan, och en ordförande (aggregatorn) sammanfattar det bästa till ett gemensamt svar. Ofta blir helheten bättre än något enskilt förslag.
Priset är att det kostar mer, eftersom du kör flera modellanrop i stället för ett. Nyare forskning (Self-MoA) visar dessutom att 'flera' inte behöver betyda olika modeller: att låta din bästa modell svara flera gånger och väga ihop svaren ger ofta lika bra eller bättre resultat än att blanda olika modeller. Förväxla inte MoA med Mixture of Experts (MoE), som är en arkitektur inuti en enda modell, inte ett sätt att kombinera flera separata modellanrop.
Ursprung och källa
Junlin Wang m.fl. (Together AI), 2024