Mixture of Experts (MoE): cos’è, come funziona e perché i modelli AI più potenti lo usano

I modelli di intelligenza artificiale più avanzati di oggi hanno dimensioni che fino a pochi anni fa sembravano impensabili: centinaia di miliardi, in alcuni casi migliaia di miliardi di parametri. Eppure riescono a risponderti in tempo reale e a costi sostenibili. Come è possibile? Gran parte del merito va a una tecnica di progettazione delle reti neurali che si chiama Mixture of Experts, spesso abbreviata in MoE.

Il Mixture of Experts è una delle idee che stanno spingendo in avanti l’intera generazione attuale di modelli, dai large language model open ai sistemi commerciali più potenti. Molti dei modelli di cui leggi nelle notizie, da Mixtral di Mistral fino a DeepSeek e Grok, sono costruiti proprio su questa architettura.

In questa guida vediamo con calma che cosa significa Mixture of Experts, come funziona nei dettagli, perché permette di costruire modelli enormi senza far esplodere i costi di calcolo e quali sono i suoi limiti reali. Non ti servono competenze matematiche avanzate: bastano un po’ di curiosità e la voglia di capire come ragionano davvero i modelli moderni.

Che cosa significa Mixture of Experts

Mixture of Experts si può tradurre come miscela di esperti, ed è proprio questa immagine a spiegare il cuore dell’idea. Invece di costruire una singola rete neurale gigantesca che elabora ogni input dall’inizio alla fine, si mette insieme un gruppo di reti più piccole, chiamate esperti, e un componente che decide di volta in volta a quali esperti affidare il lavoro.

Pensa a uno studio professionale. Quando arriva una pratica, non la gestiscono tutti i collaboratori insieme: c’è chi si occupa di fiscale, chi di contratti, chi di contenzioso. Un responsabile smista ogni pratica alla persona giusta. Il Mixture of Experts funziona in modo simile, solo che gli esperti sono porzioni di rete neurale e il responsabile è un piccolo modulo software chiamato router.

La conseguenza è importante. In una rete tradizionale ogni singolo input passa attraverso tutti i parametri del modello. In un modello Mixture of Experts, invece, ogni input passa solo attraverso una piccola parte del modello, quella selezionata dal router. Questo semplice cambiamento apre la porta a una nuova strategia per far crescere i modelli.

L’idea di fondo, dividere per specializzare

Il principio che ispira il Mixture of Experts è la divisione del lavoro. Se un unico blocco di rete deve imparare a gestire qualsiasi cosa, dalla grammatica alla matematica, dal codice alla poesia, finisce per essere un tuttofare mediocre. Se invece diversi esperti possono specializzarsi ciascuno su un certo tipo di pattern, il modello nel suo complesso diventa più capace.

Va detto subito, per onestà, che questa specializzazione raramente è leggibile per noi. Non troverai un esperto dedicato alla cucina e uno alla fisica quantistica. Gli esperti si specializzano su regolarità statistiche del testo, spesso legate alla sintassi, alla lingua o al tipo di token, e non su categorie tematiche che un essere umano riconoscerebbe a colpo d’occhio.

Il punto pratico resta comunque valido: distribuire il carico su più esperti permette al modello di immagazzinare molta più conoscenza senza pagarla per intero a ogni singola elaborazione.

Parametri totali e parametri attivi, la distinzione che cambia tutto

Per capire davvero il valore del Mixture of Experts devi tenere a mente due numeri diversi. Il primo sono i parametri totali, cioè la quantità complessiva di conoscenza che il modello contiene. Il secondo sono i parametri attivi, cioè quelli che vengono effettivamente usati per elaborare un singolo token.

In un modello denso tradizionale questi due numeri coincidono. Se il modello ha settanta miliardi di parametri, tutti e settanta miliardi lavorano per ogni parola generata. In un modello Mixture of Experts, invece, i due numeri si separano nettamente: il modello può avere centinaia di miliardi di parametri totali ma attivarne solo una frazione per ogni token.

È qui che nasce la magia apparente. Un modello sparso può essere enorme in termini di conoscenza immagazzinata e allo stesso tempo relativamente leggero in termini di calcolo richiesto a ogni passo. Ottieni la capacità di un gigante pagando il conto di calcolo di un modello molto più piccolo.

Questo disaccoppiamento tra capacità e costo di calcolo è la ragione principale per cui i laboratori hanno abbracciato il Mixture of Experts con tanto entusiasmo.

Da dove nasce l’idea del Mixture of Experts

Anche se sembra una novità recentissima, il Mixture of Experts affonda le radici molto indietro nel tempo. Il concetto viene formalizzato già nel 1991 in un lavoro accademico intitolato Adaptive Mixtures of Local Experts, firmato tra gli altri da Geoffrey Hinton, uno dei padri del deep learning. L’intuizione di base, addestrare più esperti insieme a una rete che li smista, era già tutta lì.

Per molti anni l’idea è rimasta un po’ in disparte. La svolta arriva nel 2017, quando un gruppo di ricercatori di Google pubblica un lavoro che introduce il cosiddetto sparsely-gated Mixture of Experts, cioè una versione in cui solo pochi esperti vengono attivati per ogni input, all’interno di reti neurali di grandi dimensioni.

Da lì in poi la strada è stata in discesa. Architetture come GShard e Switch Transformer, sempre di Google, hanno portato il Mixture of Experts dentro i Transformer e lo hanno scalato fino a modelli con oltre mille miliardi di parametri. Negli anni successivi la tecnica è diventata patrimonio comune, adottata anche da molti modelli aperti.

Come funziona il Mixture of Experts, passo dopo passo

Ora che hai il quadro generale, entriamo nel meccanismo vero e proprio. Un livello Mixture of Experts è composto da due ingredienti fondamentali: un insieme di esperti e un router che li governa. Vediamoli uno alla volta, seguendo il percorso che compie un token quando attraversa questo livello.

Gli esperti, piccole reti specializzate

Ogni esperto è a tutti gli effetti una piccola rete neurale, di solito una rete feed-forward, cioè lo stesso tipo di blocco che si trova nei modelli tradizionali. La differenza è che, invece di avere un unico blocco di questo tipo, un livello Mixture of Experts ne contiene molti in parallelo, che possono essere otto, decine o addirittura centinaia.

Tutti gli esperti hanno la stessa struttura ma parametri diversi, perché durante l’addestramento imparano cose diverse. Sono come tanti specialisti formati sulla stessa materia di base ma con esperienze differenti alle spalle.

Il numero di esperti determina in gran parte la capacità totale del modello. Più esperti aggiungi, più conoscenza il modello può contenere, senza che questo aumenti il calcolo per token, purché il numero di esperti attivati resti basso.

Il router, chi decide quale esperto lavora

Il router, chiamato anche gating network, è il vero cervello organizzativo del sistema. Si tratta di un piccolo modulo, spesso poco più di una trasformazione lineare seguita da una funzione di normalizzazione, che riceve la rappresentazione del token e assegna a ciascun esperto un punteggio.

Quei punteggi esprimono quanto il router ritiene adatto ciascun esperto a gestire quel particolare token. È un giudizio appreso, non una regola scritta a mano: durante l’addestramento il router impara progressivamente a smistare i token verso gli esperti che producono i risultati migliori.

Il router è piccolo ma delicato. Se lavora male, tutto il livello Mixture of Experts ne risente, perché gli esperti giusti rischiano di non ricevere mai i token giusti.

Il routing top-k, attivare solo pochi esperti alla volta

Il passaggio che rende il Mixture of Experts così efficiente si chiama routing top-k. Dopo aver calcolato i punteggi, il router non attiva tutti gli esperti: ne seleziona soltanto un numero ristretto, indicato con la lettera k, quelli che hanno ottenuto i punteggi più alti.

Nella pratica k è un numero molto piccolo. In molti modelli si attivano solo i due esperti migliori per ogni token, in altri addirittura uno solo. Tutti gli altri esperti, per quel token, restano semplicemente inattivi e non consumano calcolo.

È proprio questo il segreto dei parametri attivi di cui parlavamo prima. Se un livello ha otto esperti ma ne attiva solo due, per ogni token stai usando circa un quarto degli esperti disponibili. Il modello resta enorme nel suo insieme, ma il conto da pagare a ogni passo rimane contenuto.

Come si combinano i risultati

Una volta scelti gli esperti, il token viene elaborato da ciascuno di loro, che produce la propria risposta. A questo punto le risposte non vengono semplicemente accostate, ma combinate insieme dando a ognuna un peso proporzionale al punteggio assegnato dal router.

In altre parole, l’esperto che il router ha giudicato più adatto contribuisce di più al risultato finale, mentre gli altri esperti selezionati pesano meno. Il risultato combinato viene poi passato al livello successivo del modello, esattamente come accadrebbe in una rete tradizionale.

Da fuori, l’utente non si accorge di nulla. Il modello risponde come sempre, ma dietro le quinte ogni token ha percorso una strada su misura, toccando solo gli esperti giusti.

Il Mixture of Experts dentro i Transformer e i large language model

Per capire dove si inserisce concretamente il Mixture of Experts, bisogna guardare all’architettura Transformer, quella che sta alla base di quasi tutti i modelli linguistici moderni. Se vuoi approfondire come funziona nel dettaglio, trovi una guida dedicata all’architettura Transformer sul sito.

In un Transformer classico ogni blocco contiene due parti principali: un meccanismo di attenzione, che permette al modello di mettere in relazione le parole tra loro, e una rete feed-forward, che elabora ogni token individualmente. È proprio questa seconda parte che il Mixture of Experts va a sostituire.

Al posto di un’unica rete feed-forward, il blocco riceve un insieme di esperti feed-forward più un router. L’attenzione, di solito, resta invariata e condivisa. Non sempre tutti i blocchi diventano Mixture of Experts: in molti modelli si alternano blocchi sparsi e blocchi tradizionali, cercando un equilibrio tra capacità e stabilità.

Questa scelta ha reso possibile costruire large language model con una quantità enorme di conoscenza, mantenendo per ogni token un costo di calcolo simile a quello di un modello molto più piccolo. È il motivo per cui tanti modelli recenti, soprattutto tra quelli open, hanno adottato questa strada.

I vantaggi del Mixture of Experts

Il primo e più evidente vantaggio è l’efficienza. Con il Mixture of Experts puoi aumentare la capacità di un modello, cioè la quantità di conoscenza che riesce a immagazzinare, senza aumentare in proporzione il calcolo necessario a generare ogni parola. Ottieni più intelligenza a parità di costo per token.

Il secondo vantaggio riguarda la scalabilità. Aggiungere esperti è un modo relativamente economico per far crescere un modello. Puoi arrivare a numeri di parametri totali che con un’architettura densa sarebbero insostenibili, perché ogni parametro in più peserebbe su ogni singola elaborazione.

C’è poi il tema della velocità. A parità di parametri totali, un modello sparso genera testo più in fretta e costa meno da addestrare rispetto a un equivalente denso, semplicemente perché a ogni passo mette in moto una porzione ridotta della rete.

Infine, la specializzazione degli esperti può migliorare la qualità delle risposte su compiti diversi, perché il modello può dedicare capacità a pattern differenti invece di comprimere tutto in un unico blocco.

Messi insieme, questi vantaggi spiegano perché il Mixture of Experts sia diventato lo strumento preferito da chi vuole modelli molto capaci senza costi di calcolo fuori controllo.

I limiti e le sfide del Mixture of Experts

Sarebbe sbagliato pensare che il Mixture of Experts sia una soluzione senza controindicazioni. I vantaggi arrivano al prezzo di una serie di complicazioni tecniche che rendono questi modelli più difficili da costruire e da gestire.

Il limite più importante è la memoria. Anche se per ogni token si attivano solo pochi esperti, tutti gli esperti devono comunque essere caricati e tenuti pronti nella memoria del sistema. Un modello Mixture of Experts consuma poco calcolo ma pretende molta memoria, ed è un compromesso da non sottovalutare.

C’è poi il problema del bilanciamento del carico. Se lasciato libero, il router tende a preferire sempre gli stessi esperti, che finiscono sovraccarichi mentre gli altri restano inutilizzati e mal addestrati. Per evitare questo squilibrio si aggiungono accorgimenti specifici, come funzioni di costo pensate proprio per distribuire i token in modo più uniforme.

Anche l’addestramento è più delicato. I modelli sparsi tendono a essere più instabili e sensibili alla scelta dei parametri, e richiedono attenzioni particolari per non degenerare.

Nell’addestramento distribuito su molte schede grafiche si aggiunge il costo della comunicazione. Poiché gli esperti sono spesso sparsi su dispositivi diversi, i token devono essere spediti avanti e indietro verso l’esperto giusto, e questo scambio continuo può diventare un collo di bottiglia.

Infine, personalizzare un modello Mixture of Experts non è sempre banale. Le operazioni di fine-tuning su un modello sparso possono richiedere accortezze in più rispetto a un modello denso, perché bisogna tenere conto del routing e del rischio di rovinare l’equilibrio tra gli esperti.

Modelli densi e modelli sparsi a confronto

A questo punto vale la pena mettere in fila le differenze tra i due grandi approcci. Un modello denso attiva tutti i suoi parametri per ogni token: è più semplice da addestrare, da personalizzare e da servire, ma paga per intero il costo della propria dimensione.

Un modello sparso, cioè basato sul Mixture of Experts, attiva solo una parte dei parametri per ogni token: è più efficiente nel calcolo e può diventare molto più grande in termini di conoscenza, ma richiede più memoria e più attenzione ingegneristica.

Non esiste un vincitore assoluto. La scelta dipende dagli obiettivi. Se conta soprattutto la semplicità e si lavora con risorse di memoria limitate, un modello denso resta spesso la strada più comoda. Se invece l’obiettivo è massimizzare la capacità mantenendo bassi i costi di calcolo, il Mixture of Experts diventa molto competitivo.

Non a caso i due mondi convivono, e molti laboratori sviluppano sia modelli densi sia modelli sparsi, scegliendo l’uno o l’altro a seconda dello scopo.

Esempi di modelli che usano il Mixture of Experts

Il Mixture of Experts non è un esercizio teorico, ma una tecnica che trovi al lavoro dentro alcuni dei modelli più conosciuti. Il primo esempio storico su larga scala è Switch Transformer di Google, che ha usato un routing semplificato a un solo esperto per token e ha dimostrato che si poteva superare la soglia dei mille miliardi di parametri.

Sul fronte dei modelli aperti, il caso che ha fatto più scalpore è Mixtral di Mistral, che in ciascuno dei suoi livelli sparsi mette a disposizione otto esperti e ne attiva due per ogni token. Grazie a questo schema riesce a offrire una qualità elevata con un costo di calcolo contenuto rispetto alla sua capacità complessiva.

Negli ultimi anni la lista si è allungata parecchio. Modelli come quelli della famiglia DeepSeek e come Grok, reso disponibile in versione aperta da xAI, hanno adottato architetture Mixture of Experts di grandi dimensioni. Non è un caso che tanti annunci recenti di nuovi modelli open citino proprio questa sigla: è diventata quasi uno standard per chi punta a massimizzare capacità ed efficienza.

Se segui le notizie sul mondo dell’AI, ti sarà capitato spesso di leggere che un nuovo modello è di tipo Mixture of Experts. Ora sai esattamente cosa vuol dire e perché viene considerato un punto di forza.

Perché il Mixture of Experts conta per il futuro dell’AI

La direzione di marcia dell’intelligenza artificiale degli ultimi anni è chiara: modelli sempre più capaci, ma anche una pressione crescente a contenerne i costi di addestramento e di funzionamento. Il Mixture of Experts si colloca esattamente nel punto d’incontro tra queste due esigenze.

Permette di continuare a far crescere la capacità dei modelli senza che il costo di calcolo cresca alla stessa velocità. In un momento in cui l’energia e le risorse di calcolo sono una preoccupazione concreta, è un vantaggio che pesa molto.

Attenzione però a non considerarlo una moda passeggera. Il principio che sta dietro il Mixture of Experts, cioè attivare solo la parte di rete che serve davvero, è un’idea di fondo destinata a durare, indipendentemente dai singoli modelli che oggi la incarnano. È questo che lo rende un concetto da conoscere, non solo una sigla del momento.

In sintesi

Il Mixture of Experts è una strategia per costruire reti neurali fatte di tanti esperti specializzati e di un router che, per ogni token, sceglie solo i pochi esperti più adatti. In questo modo un modello può essere enorme in termini di conoscenza e allo stesso tempo leggero in termini di calcolo, perché a ogni passo ne usa solo una piccola parte.

Abbiamo visto come funziona il routing top-k, come il Mixture of Experts si inserisce dentro i Transformer, quali vantaggi porta in termini di efficienza e scalabilità e quali sfide comporta sul piano della memoria, del bilanciamento e dell’addestramento. Sono le due facce della stessa medaglia, e conoscerle entrambe ti aiuta a leggere con occhio più critico gli annunci dei nuovi modelli.

Se questa guida ti ha incuriosito, il passo successivo è capire i mattoni su cui il Mixture of Experts poggia. Approfondisci l’architettura dei modelli linguistici e il funzionamento dei Transformer, e continua a esplorare le altre guide del sito per costruire, un pezzo alla volta, una comprensione solida di come funziona davvero l’intelligenza artificiale di oggi.