Generativ AI och språkmodeller
Mixture of Experts (MoE)
Förklaring
Mixture of Experts är en modellarkitektur där olika 'expert'-delar av modellen specialiserar sig på olika typer av frågor. Istället för att hela modellen aktiveras för varje fråga väljer en router ut de mest relevanta experterna, lite som att fråga rätt person på ett kontor istället för att samla alla i ett möte. Det gör modellen både snabbare och billigare att köra utan att tappa förmåga, och används i moderna modeller som DeepSeek-V3 och Mixtral.
Ursprung och källa
Robert Jacobs m.fl., 1991; Google (Switch Transformer), 2021