MoE (Mixture of Experts)

Vad är MoE (Mixture of Experts)?

Mixture of Experts är en modellarkitektur där olika 'expert'-delar av modellen specialiserar sig på olika typer av frågor. Istället för att hela modellen aktiveras för varje fråga väljer en router ut de mest relevanta experterna, lite som att fråga rätt person på ett kontor istället för att samla alla i ett möte. Det gör modellen både snabbare och billigare att köra utan att tappa förmåga, och används i moderna modeller som DeepSeek-V3 och Mixtral.

Ursprung och källa

Robert Jacobs m.fl., 1991; Google (Switch Transformer), 2021

Se även

• Transformer
• MoA (Mixture of Agents)

Läs mer

• Shazeer m.fl. (2017): Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
• Wikipedia: Mixture of experts