Knowledge distillation: cos’è e come funziona la distillazione dei modelli AI

Molti dei modelli di intelligenza artificiale più agili che usi ogni giorno, quelli che girano su uno smartphone, rispondono in pochi millisecondi o costano pochi centesimi per milione di token, hanno un segreto in comune: hanno imparato da un modello molto più grande. Questa tecnica si chiama knowledge distillation, in italiano distillazione della conoscenza, ed è uno dei pilastri del deep learning moderno. In questa guida capirai cos’è, come funziona dal punto di vista tecnico, quali varianti esistono, dove viene applicata e quali limiti, anche legali, devi conoscere prima di usarla.

L’obiettivo è darti un quadro completo e duraturo, senza dare per scontate le basi ma senza nemmeno fermarti alla superficie.

Cos’è la knowledge distillation e perché è nata

La knowledge distillation è una tecnica di compressione dei modelli in cui una rete neurale piccola, chiamata modello studente (student), viene addestrata a imitare il comportamento di una rete neurale grande e già addestrata, chiamata modello insegnante (teacher). L’idea di fondo è semplice: invece di insegnare allo studente soltanto a riconoscere la risposta corretta, gli si insegna a ragionare come l’insegnante, riproducendo il modo in cui quest’ultimo distribuisce la propria fiducia tra le varie risposte possibili.

Il problema da cui nasce è molto concreto. I modelli migliori sono spesso enormi, con miliardi di parametri, e richiedono GPU costose, molta memoria e tempi di risposta non sempre compatibili con un’app mobile o con un servizio che deve gestire milioni di richieste. Un modello piccolo addestrato da zero sugli stessi dati, però, di solito rende peggio.

La distillazione prova a prendere il meglio dei due mondi.

Le origini: dalla compressione dei modelli al lavoro di Hinton

L’intuizione di trasferire la conoscenza da un modello grande a uno piccolo risale almeno al 2006, quando Cristian Buciluă, Rich Caruana e Alexandru Niculescu-Mizil pubblicarono un lavoro intitolato “Model Compression”. In quel caso si trattava di comprimere grandi insiemi di modelli (ensemble) in una sola rete più leggera, usando le previsioni dell’ensemble per etichettare dati sintetici.

Il termine “distillation” e la formulazione oggi più citata arrivano invece nel 2015 con l’articolo “Distilling the Knowledge in a Neural Network” di Geoffrey Hinton, Oriol Vinyals e Jeff Dean. Gli autori introdussero due concetti chiave che vedremo tra poco: i soft target e la temperatura. Da allora la tecnica è diventata uno strumento standard, prima nella visione artificiale e poi nei modelli linguistici.

Perché si chiama proprio distillazione

La metafora è chimica. Come in un alambicco si separa l’essenza di una sostanza dal resto, così nella distillazione si cerca di estrarre dall’insegnante la parte davvero utile della sua conoscenza e di concentrarla in un contenitore più piccolo. Non si copia il modello, si travasa il suo comportamento.

Come funziona la distillazione: teacher, student e soft target

Per capire il meccanismo devi partire da come una rete neurale produce una risposta in un problema di classificazione. L’ultimo strato della rete genera dei valori grezzi, chiamati logit, uno per ogni classe possibile. Questi valori passano poi attraverso una funzione chiamata softmax, che li trasforma in probabilità comprese tra 0 e 1 la cui somma è 1.

Immagina un classificatore di immagini davanti alla foto di un cane. L’insegnante potrebbe assegnare il 90% di probabilità a “cane”, il 9% a “lupo” e una frazione minuscola a “automobile”. L’etichetta del dataset, invece, dice soltanto “cane”, cioè 100% cane e 0% a tutto il resto.

Ecco il punto cruciale: quella distribuzione contiene informazione preziosa.

Hard label e soft target

L’etichetta secca del dataset si chiama hard label. La distribuzione di probabilità prodotta dall’insegnante si chiama soft target. Il soft target dice allo studente non solo qual è la risposta giusta, ma anche quali risposte sbagliate sono “meno sbagliate” di altre: un cane assomiglia molto più a un lupo che a un’automobile. Hinton chiamò questa informazione dark knowledge, la conoscenza oscura nascosta nelle probabilità piccole.

Imparando dai soft target, lo studente riceve un segnale di addestramento molto più ricco per ogni esempio. In pratica ogni immagine non insegna una sola cosa, ma un intero sistema di somiglianze tra classi. Questo spiega perché uno studente distillato spesso supera uno studente della stessa dimensione addestrato solo sulle etichette.

Il ruolo della temperatura

C’è però un problema. In un modello ben addestrato la softmax tende a essere molto “appuntita”: la classe giusta prende quasi tutta la probabilità e le altre restano vicinissime allo zero, quindi la conoscenza oscura è difficile da leggere. Per questo si introduce un parametro chiamato temperatura, indicato di solito con T.

Prima di applicare la softmax, i logit vengono divisi per T. Con T uguale a 1 si ottiene la softmax normale. Con valori più alti la distribuzione si “ammorbidisce”: le differenze si attenuano e le probabilità delle classi secondarie diventano più visibili. Durante la distillazione si usa la stessa temperatura alta sia per l’insegnante sia per lo studente, mentre al momento dell’uso reale lo studente torna a lavorare con T uguale a 1.

Scegliere la temperatura è una questione empirica, da tarare caso per caso.

La funzione di perdita combinata

Nella formulazione classica lo studente viene addestrato con una funzione di perdita composta da due parti. La prima misura quanto la distribuzione dello studente si discosta da quella dell’insegnante, entrambe calcolate ad alta temperatura; per questo confronto si usa in genere la divergenza di Kullback-Leibler, una misura della distanza tra due distribuzioni di probabilità. La seconda è la normale perdita di classificazione rispetto alle hard label.

Le due componenti vengono pesate con un coefficiente che decide quanto contare sull’insegnante e quanto sui dati reali. Il paper di Hinton osserva inoltre che il termine sui soft target va moltiplicato per il quadrato della temperatura, così da mantenere un contributo bilanciato ai gradienti quando T cambia. L’aggiornamento dei pesi avviene poi con i metodi consueti, cioè la backpropagation e la discesa del gradiente.

I tipi di knowledge distillation

Nel corso degli anni la ricerca ha ampliato molto il concetto originale. Oggi si classificano le tecniche di distillazione secondo due criteri principali: che cosa viene trasferito dall’insegnante allo studente e in che modo avviene l’addestramento.

In base a cosa si trasferisce

La distillazione basata sulle risposte (response-based) è quella classica: lo studente imita l’output finale dell’insegnante, cioè i logit o le probabilità. È semplice da implementare e funziona anche quando l’insegnante è una scatola nera di cui conosci solo le uscite.

La distillazione basata sulle caratteristiche (feature-based) va più a fondo e chiede allo studente di riprodurre anche le rappresentazioni intermedie dell’insegnante, cioè ciò che accade negli strati nascosti. Un esempio noto è il metodo FitNets, proposto nel 2014 da Adriana Romero e colleghi, che usava questi “suggerimenti” interni per addestrare reti più sottili e profonde. Serve però l’accesso completo all’insegnante.

La distillazione basata sulle relazioni (relation-based) sposta l’attenzione dalle singole rappresentazioni ai rapporti tra esempi o tra strati: lo studente impara, per esempio, quali coppie di input l’insegnante considera simili e quali diverse. È un approccio più astratto, utile quando le architetture dei due modelli sono molto differenti.

In base a come si addestra

Nella distillazione offline l’insegnante è già addestrato e resta congelato, mentre lo studente impara da lui. È lo schema più diffuso, perché permette di riutilizzare modelli esistenti.

Nella distillazione online insegnante e studente, oppure più studenti tra loro, si addestrano contemporaneamente e si scambiano conoscenza durante il processo. È utile quando non esiste un insegnante pre-addestrato abbastanza forte.

Infine c’è l’autodistillazione (self-distillation), in cui un modello fa da insegnante a sé stesso: per esempio gli strati più profondi guidano quelli più superficiali, oppure una versione precedente del modello addestra quella successiva. Sembra paradossale, eppure in diversi studi ha portato a miglioramenti misurabili.

La distillazione nei large language model

Con l’arrivo dei grandi modelli linguistici la distillazione ha cambiato scala e importanza. Un LLM non sceglie tra poche classi ma, a ogni passo, tra decine di migliaia di token possibili, e la distribuzione di probabilità su quel vocabolario è una miniera di informazioni su come il modello “pensa” la lingua.

Non è un caso che molti modelli compatti di successo siano nati così.

White-box e black-box

Nei modelli linguistici si distingue tra distillazione white-box e black-box. Nella prima hai accesso ai pesi o almeno alle distribuzioni di probabilità complete dell’insegnante, e puoi allenare lo studente a riprodurre i logit token per token. È la strada più efficace, ma richiede di controllare entrambi i modelli.

Nella distillazione black-box, invece, dell’insegnante vedi solo il testo generato, magari tramite un’API. In questo caso si genera un grande insieme di domande e risposte, o di ragionamenti passo passo, e lo si usa come dataset per il fine-tuning dello studente. Tecnicamente è un addestramento supervisionato su dati sintetici, ma nel linguaggio comune viene chiamato distillazione anche questo.

Esempi concreti di modelli distillati

Uno dei casi più citati è DistilBERT, presentato da Hugging Face nel 2019. Secondo gli autori, il modello era il 40% più piccolo di BERT e il 60% più veloce, pur conservando circa il 97% delle sue capacità di comprensione del linguaggio sui benchmark considerati. Per molti sviluppatori è stato il primo contatto con la distillazione applicata ai transformer.

Negli anni successivi la tecnica è entrata stabilmente nelle pipeline dei grandi laboratori. Google ha dichiarato di aver usato la distillazione nell’addestramento delle versioni più piccole di Gemma 2, Meta ha indicato di aver usato i logit dei modelli Llama 3.1 più grandi come obiettivi per addestrare i piccoli Llama 3.2 da 1 e 3 miliardi di parametri, e all’inizio del 2025 DeepSeek ha rilasciato, insieme a R1, una serie di modelli più leggeri basati su Qwen e Llama, distillati dai ragionamenti del modello maggiore.

Il filo conduttore è sempre lo stesso: portare capacità avanzate in modelli economici.

Molti degli small language model che oggi girano su laptop e smartphone devono parte delle loro prestazioni proprio a questo travaso di conoscenza da modelli molto più grandi.

Distillare il ragionamento

Una tendenza recente riguarda la distillazione del ragionamento. Invece di copiare solo la risposta finale, lo studente impara dalle catene di passaggi intermedi con cui l’insegnante arriva alla soluzione, la cosiddetta chain of thought. In questo modo modelli relativamente piccoli possono migliorare in matematica, programmazione e problemi logici, compiti in cui da soli faticherebbero di più.

Resta comunque un limite: lo studente ha meno capacità e non sempre riesce ad assorbire tutto ciò che l’insegnante sa fare.

Distillazione, quantizzazione e pruning: le differenze

La knowledge distillation fa parte di una famiglia più ampia di tecniche di compressione, e spesso viene confusa con le altre. Conviene fare chiarezza, perché nella pratica queste tecniche si combinano tra loro.

La quantizzazione non cambia l’architettura del modello ma la precisione con cui ne vengono memorizzati i numeri: per esempio si passa da pesi a 16 bit a pesi a 8 o 4 bit. Il modello è lo stesso, solo rappresentato in modo più compatto.

Il pruning, cioè la potatura, elimina dal modello connessioni, neuroni o interi blocchi che contribuiscono poco al risultato. Anche qui si parte dal modello originale e lo si alleggerisce sottraendo parti.

La distillazione, invece, crea un modello nuovo.

Lo studente può avere un’architettura completamente diversa dall’insegnante, con meno strati, meno parametri o perfino un design pensato per un hardware specifico. Proprio per questo è la tecnica più flessibile, ma anche la più costosa da applicare, perché richiede un vero ciclo di addestramento. Non a caso è frequente distillare prima un modello e poi quantizzarlo, sommando i vantaggi delle due tecniche.

Vantaggi e limiti della knowledge distillation

Come ogni tecnica, la distillazione ha punti di forza evidenti e compromessi che vanno valutati con attenzione prima di adottarla in un progetto reale.

I vantaggi principali

Il primo vantaggio è l’efficienza. Un modello più piccolo richiede meno memoria e meno calcolo, quindi risponde più in fretta e costa meno da far girare. Per un’azienda che serve milioni di richieste al giorno, questa differenza si traduce direttamente in bollette dei server più leggere e in un consumo energetico più contenuto.

Il secondo è la possibilità di portare l’AI sul dispositivo. Un modello distillato può funzionare in locale su smartphone, computer portatili, sensori industriali o automobili, senza inviare dati al cloud. Questo migliora la privacy, riduce la latenza e permette di lavorare anche senza connessione.

Il terzo è la specializzazione. Puoi distillare da un modello generalista un piccolo modello esperto in un solo compito, come classificare ticket di assistenza o estrarre dati da fatture, ottenendo prestazioni spesso vicine a quelle dell’insegnante proprio su quel compito.

I limiti da conoscere

Il limite più ovvio è il cosiddetto capacity gap. Uno studente troppo piccolo non riesce a rappresentare tutta la conoscenza dell’insegnante, e oltre una certa differenza di dimensione i risultati peggiorano. Diversi studi hanno osservato che un insegnante molto più grande non è sempre il migliore: a volte conviene passare per un insegnante intermedio, una specie di assistente.

C’è poi l’ereditarietà dei difetti. Lo studente impara anche gli errori, i bias e le allucinazioni dell’insegnante, e in alcuni casi può amplificarli. Se l’insegnante sbaglia in modo sistematico su un certo tipo di domanda, lo studente tenderà a fare lo stesso.

Infine la distillazione non è gratis. Serve un insegnante di qualità, serve un dataset adatto, spesso molto ampio, e serve tempo di calcolo per generare le risposte dell’insegnante e addestrare lo studente. Sui compiti generali, inoltre, lo studente di solito perde qualcosa rispetto al modello originale, soprattutto sulle capacità più rare e sofisticate.

In sintesi, la distillazione è un compromesso consapevole, non una magia.

Aspetti legali ed etici: quando distillare è un problema

La distillazione black-box ha aperto una questione delicata. Se basta interrogare un modello tramite API per raccogliere risposte di qualità e addestrare un concorrente, chi ha investito centinaia di milioni nello sviluppo dell’insegnante vede il proprio lavoro replicato a una frazione del costo.

Per questo i termini di servizio dei principali fornitori di modelli, tra cui OpenAI, Anthropic e Google, vietano in varie forme di usare gli output dei loro servizi per sviluppare modelli concorrenti. Non si tratta di un divieto della tecnica in sé, che resta legittima e diffusissima, ma di una regola contrattuale sull’uso dei dati generati.

Il tema è diventato anche geopolitico. Negli ultimi anni alcune aziende americane hanno accusato laboratori concorrenti di aver sfruttato su larga scala le risposte dei loro modelli, e hanno introdotto sistemi per individuare e bloccare questi usi, come racconta il nostro articolo sulle difese di Anthropic contro la distillazione.

Se lavori su un progetto aziendale, quindi, la regola pratica è semplice. Distillare modelli di cui possiedi i diritti, o modelli open con licenze che lo consentono, è una pratica comune. Usare le risposte di un servizio commerciale per addestrare un modello concorrente può invece violare i termini d’uso: prima di farlo leggi con attenzione le licenze e, nei casi dubbi, confrontati con un legale.

Come applicare la distillazione in un progetto reale

Se vuoi sperimentare la knowledge distillation, conviene procedere per passi ordinati. Non serve essere un grande laboratorio: con modelli open e un po’ di potenza di calcolo è alla portata di team piccoli.

Scegli insegnante e studente

Il primo passo è individuare un insegnante che risolva bene il compito che ti interessa e uno studente con le dimensioni compatibili con il tuo vincolo, che sia la memoria di un telefono, il budget mensile o la latenza massima accettabile. È utile che i due modelli condividano lo stesso tokenizer se vuoi fare distillazione sui logit, perché altrimenti allineare le distribuzioni diventa complicato.

Verifica sempre la licenza di entrambi i modelli prima di iniziare.

Prepara i dati

Il dataset di distillazione deve rappresentare bene i casi d’uso reali. Puoi partire da dati tuoi, eventualmente anonimizzati, e aggiungere esempi generati appositamente. Più gli input sono vari e vicini al mondo reale, più lo studente imparerà a comportarsi bene fuori dal laboratorio. Ricorda che la qualità conta più della quantità: risposte sbagliate dell’insegnante vanno filtrate.

Addestra e misura

Per l’addestramento esistono librerie open source che semplificano il lavoro, dall’ecosistema di Hugging Face ai framework di deep learning più diffusi. Nella fase di valutazione confronta sempre tre modelli: l’insegnante, lo studente distillato e uno studente della stessa dimensione addestrato senza distillazione. Solo così capisci quanto vale davvero il processo.

Misura non solo l’accuratezza ma anche latenza, memoria occupata e costo per richiesta.

Ottimizza e metti in produzione

Una volta soddisfatto delle prestazioni, puoi comprimere ulteriormente lo studente con la quantizzazione e poi distribuirlo dove serve, su server, edge o dispositivo. Tieni monitorato il comportamento nel tempo: se i casi d’uso cambiano, potresti dover ripetere la distillazione con dati aggiornati.

Il futuro della distillazione

Tutto lascia pensare che la distillazione resterà centrale ancora a lungo. I modelli di frontiera continueranno a crescere, mentre la domanda di AI veloce, economica ed eseguibile in locale aumenterà con la diffusione degli assistenti negli smartphone, nei PC e negli oggetti connessi.

La ricerca si sta muovendo in diverse direzioni: distillare modelli multimodali che comprendono testo, immagini e audio, trasferire capacità di agente e uso di strumenti, combinare distillazione e apprendimento per rinforzo per ottenere studenti capaci di superare, in compiti specifici, i propri insegnanti. C’è anche un filone dedicato alla distillazione dei dataset, che punta a condensare enormi raccolte di dati in insiemi piccoli ma ugualmente informativi.

Parallelamente cresceranno le tecniche di protezione, come il watermarking delle risposte e il rilevamento automatico degli abusi, e il dibattito su cosa sia lecito estrarre da un modello altrui.

Conclusioni

La knowledge distillation è il ponte tra i modelli giganti dei laboratori di ricerca e l’AI che usi davvero ogni giorno. Funziona perché un insegnante non trasmette solo le risposte giuste, ma tutta la struttura di somiglianze e incertezze che ha appreso, e lo studente, anche se più piccolo, può farne tesoro.

Hai visto da dove nasce, come funzionano soft target e temperatura, quali varianti esistono, come viene applicata ai large language model e quali limiti tecnici e legali comporta. Se stai valutando di portare un modello AI in produzione o su un dispositivo, ora hai gli strumenti per chiederti se la distillazione possa ridurre costi e latenza senza sacrificare la qualità.

Il prossimo passo spetta a te: prova a distillare un piccolo modello open su un compito che conosci bene, confronta i risultati e continua a esplorare le guide di intelligenzaartificiale.net per approfondire le altre tecniche che rendono il deep learning più efficiente.

Newsletter gratuita · ogni venerdì

Tutta l'AI della settimana, in 5 minuti, nella tua email

• Le guide e le notizie della settimana, divise per rubrica
• Solo ciò che conta, verificato e spiegato in italiano
• Niente spam, ti cancelli con un clic

La tua email Iscriviti gratis

Ho letto l'informativa privacy e voglio ricevere la newsletter.

Preferisci i social? Seguici:

Seguici su Facebook X LinkedIn