Mixture-of-Experts (MoE)

Architettura di modello in cui il modello conta molti miliardi di parametri in totale, ma per ogni token ne attiva solo una piccola sottoinsieme (gli 'experts' selezionati dal router). Il risultato è la qualità di un modello grande con la velocità e il costo di calcolo di uno piccolo. Esempio: Qwen3 30B-A3B ha 30,5B di parametri totali ma ne usa solo 3,3B per token. Il prezzo è che tutto il peso del modello va comunque caricato in memoria.