Transformer in AI: cosa sono e come funziona il meccanismo di attenzione

Se usi ChatGPT, Claude, Gemini o uno qualsiasi dei modelli linguistici di nuova generazione, stai usando un Transformer, anche se non lo sai. È l’architettura che dal 2017 ha cambiato il modo di costruire l’intelligenza artificiale, prima nel linguaggio, poi nelle immagini, nell’audio, nel video e perfino nella biologia.

In questa guida ti spiego cos’è un Transformer, come funziona il meccanismo di attenzione che ne è il cuore e perché ha prevalso su tutte le architetture precedenti.

Non servono basi di matematica avanzata: andremo per gradi, con esempi concreti, fino a mettere insieme tutti i pezzi. Alla fine saprai leggere con occhi diversi qualunque notizia su un nuovo modello e capirai cosa significano parole come encoder, decoder, testa di attenzione o contesto.

Cos’è un Transformer e perché è stato una svolta

Il Transformer è un’architettura di rete neurale presentata nel 2017 da un gruppo di ricercatori di Google nell’articolo scientifico intitolato “Attention Is All You Need”. Nasceva per la traduzione automatica, ma l’idea di fondo si è rivelata così generale da diventare la base di quasi tutti i modelli di frontiera.

La novità principale è che il Transformer elabora una sequenza, per esempio una frase, guardandola tutta insieme invece di leggerla una parola alla volta. Per decidere cosa significa una parola, la mette in relazione diretta con tutte le altre.

Per capire quanto sia stato importante, conviene ricordare da dove si partiva. Se vuoi un quadro generale delle reti profonde, trovi le basi nella nostra guida al deep learning, utile da leggere prima di proseguire.

Il problema delle architetture precedenti

Prima dei Transformer, il linguaggio si trattava soprattutto con le reti ricorrenti. Come spieghiamo nella guida alle reti neurali ricorrenti, queste leggono il testo in ordine, un elemento dopo l’altro, e portano con sé una memoria che si aggiorna a ogni passo.

Il meccanismo funziona, ma ha due limiti pesanti. Il primo è la lentezza: poiché ogni passo dipende dal precedente, non puoi elaborare le parole in parallelo e sfruttare davvero la potenza delle moderne GPU. Il secondo è la memoria corta: in una frase lunga, l’informazione sulle prime parole tende a sbiadire prima di arrivare alla fine.

Esistevano varianti più robuste, come le LSTM, che mitigavano il problema senza risolverlo del tutto. Restava il vincolo della sequenzialità, che rendeva costoso addestrare modelli molto grandi su moltissimi testi.

Cosa cambia con l’attenzione

Il Transformer elimina la ricorrenza e la sostituisce con l’attenzione, un meccanismo che permette a ogni parola di consultare direttamente tutte le altre, vicine o lontane che siano. La distanza non conta più: la prima e l’ultima parola di un testo possono influenzarsi in un solo passaggio.

In più, tutte le posizioni vengono calcolate contemporaneamente. Questo rende l’addestramento enormemente parallelizzabile e ha reso possibile scalare i modelli a miliardi di parametri.

Dalle parole ai numeri: token, embedding e posizione

Una rete neurale lavora con numeri, non con lettere. Prima che un Transformer possa fare qualunque cosa, il testo deve quindi essere trasformato in una forma numerica, in tre passaggi.

Tokenizzazione

Il testo viene spezzato in piccole unità chiamate token, che possono essere parole intere, pezzi di parola o singoli segni di punteggiatura. Se vuoi approfondire come avviene questa suddivisione e perché influisce su costi e prestazioni, leggi l’articolo sui token e la tokenizzazione.

Ogni token ha un identificativo numerico all’interno di un vocabolario fisso, che di solito conta decine di migliaia di voci.

Embedding

Ogni identificativo viene poi convertito in un vettore, cioè un lungo elenco di numeri, chiamato embedding. L’idea è che parole con significato simile ottengano vettori vicini nello spazio matematico: “gatto” e “felino” finiscono vicini, “gatto” e “bilancio” molto lontani.

Questi vettori non sono scritti a mano. Sono parametri che il modello impara durante l’addestramento, insieme a tutto il resto.

Codifica posizionale

Dato che il Transformer guarda tutte le parole insieme, non sa da solo in quale ordine compaiano. Eppure “il cane morde l’uomo” e “l’uomo morde il cane” non significano la stessa cosa.

Per risolvere il problema si aggiunge a ogni embedding un’informazione sulla posizione. Nell’articolo originale si usavano funzioni matematiche periodiche, mentre molti modelli recenti usano varianti più evolute, come le codifiche rotazionali, ma lo scopo resta identico: dire al modello dove si trova ciascun token.

Il meccanismo di attenzione spiegato passo dopo passo

L’attenzione è la parte più importante e anche quella che ha l’aria più misteriosa. In realtà l’idea è semplice e si può spiegare con un’analogia: una ricerca in una biblioteca.

Query, key e value

Per ogni token, il modello calcola tre vettori diversi a partire dal suo embedding, moltiplicandolo per tre matrici di pesi che ha imparato. Li chiamiamo query, key e value.

Immagina la query come la domanda che il token si pone: “di quali altre parole ho bisogno per capire me stesso?”. La key è l’etichetta con cui ogni parola si presenta agli altri: “ecco di cosa parlo”. Il value è il contenuto vero e proprio che una parola offre quando qualcuno la consulta.

Calcolare i punteggi di attenzione

Per ogni token, il modello confronta la sua query con le key di tutti gli altri token, compreso se stesso. Il confronto è un prodotto scalare: più due vettori puntano nella stessa direzione, più alto è il punteggio, e quindi più la parola è considerata rilevante.

I punteggi vengono poi divisi per un fattore legato alla dimensione dei vettori, per mantenere i numeri in un intervallo stabile, e passati in una funzione chiamata softmax. Il risultato è un insieme di pesi positivi che sommano a uno, una specie di ripartizione dell’attenzione.

Mescolare i value

A questo punto il nuovo vettore di ogni token è la somma dei value di tutti gli altri, ciascuno moltiplicato per il proprio peso. Una parola molto rilevante contribuisce molto, una poco rilevante quasi nulla.

Il risultato è un vettore arricchito dal contesto: la stessa parola ha una rappresentazione diversa a seconda della frase in cui compare.

Un esempio concreto

Prendi la frase “La banca ha approvato il mutuo perché era solida”. Per interpretare “solida” il modello deve capire a cosa si riferisce: alla banca o al mutuo? Il meccanismo di attenzione permette a quel token di dare molto peso a “banca” e poco a “mutuo”, e di costruire così una rappresentazione coerente.

Cambia la frase in “La banca ha approvato il mutuo perché era conveniente” e i pesi si spostano. Nessuno ha scritto una regola grammaticale: il comportamento emerge dall’addestramento.

Attenzione multi-testa

Una sola serie di punteggi non basta a catturare tutte le relazioni utili in una frase. Per questo il Transformer esegue più calcoli di attenzione in parallelo, le cosiddette teste, ciascuna con le proprie matrici di pesi.

Una testa può specializzarsi nel collegare un verbo al suo soggetto, un’altra nel riconoscere una parola tra virgolette, un’altra ancora nel seguire un riferimento pronominale. I risultati delle teste vengono poi concatenati e combinati.

Gli studi di interpretabilità hanno mostrato che alcune teste sviluppano ruoli riconoscibili, mentre altre sono più difficili da leggere. Non tutto è ancora ben compreso, e vale la pena ricordarlo quando si sente dire che sappiamo esattamente cosa accade dentro un modello.

L’architettura completa: blocchi, residui e normalizzazione

L’attenzione, da sola, non fa un Transformer. Il modello è costruito impilando molti blocchi identici nella struttura, ma con pesi propri, uno sopra l’altro. Un modello piccolo ne ha qualche decina, i più grandi arrivano a centinaia.

Cosa contiene un blocco

Ogni blocco ha due componenti principali. La prima è lo strato di attenzione, che fa comunicare i token tra loro. La seconda è una rete feed-forward, cioè un piccolo perceptron a più strati applicato a ogni token separatamente, che elabora l’informazione appena raccolta.

Si può pensare così: l’attenzione raccoglie informazioni dal contesto, la rete feed-forward le trasforma e le rielabora. Una gran parte dei parametri del modello si trova proprio in questi strati feed-forward.

Connessioni residue e normalizzazione

Attorno a ciascun componente ci sono due accorgimenti tecnici indispensabili. Le connessioni residue sommano l’ingresso del componente alla sua uscita, in modo che l’informazione originale non vada persa e il gradiente possa attraversare molti strati senza spegnersi.

La normalizzazione dei livelli mantiene i valori numerici in un intervallo ragionevole. Senza questi due elementi, addestrare reti con decine di blocchi sarebbe quasi impossibile. Il processo di apprendimento si basa sulla backpropagation, che calcola come correggere ogni parametro in base all’errore commesso.

Encoder, decoder o entrambi: le tre famiglie di modelli

L’articolo del 2017 descriveva un’architettura con due metà, un encoder e un decoder. Nel tempo se ne sono affermate tre varianti, che conviene distinguere perché spiegano molti nomi che incontri nelle notizie.

Solo encoder

L’encoder legge l’intero testo e produce una rappresentazione ricca di ogni token, guardando sia a sinistra sia a destra. È la scelta ideale per comprendere il linguaggio: classificare un testo, estrarre entità, confrontare frasi, alimentare i motori di ricerca. Il capostipite più noto di questa famiglia è BERT.

Solo decoder

Il decoder genera testo un token alla volta, e ogni token può guardare soltanto quelli precedenti. Per ottenere questo comportamento si applica una maschera causale che impedisce di sbirciare il futuro. È l’architettura dietro la maggior parte degli assistenti conversazionali: ChatGPT, Claude e Gemini appartengono a questa famiglia, con molte differenze di addestramento e di dettagli.

Encoder e decoder insieme

Nella versione completa, l’encoder comprende il testo di partenza e il decoder produce quello di arrivo, consultando l’encoder tramite un’attenzione incrociata. È la struttura naturale per la traduzione e per il riassunto, e resta in uso in diversi modelli specializzati.

Come si addestra un Transformer

Un Transformer non nasce sapendo qualcosa. Impara da enormi quantità di dati, e il modo in cui li usa dipende dalla famiglia a cui appartiene.

Pre-addestramento

Nei modelli generativi il compito di base è prevedere il token successivo. Il modello legge un testo, tenta di indovinare la parola seguente, confronta la risposta con quella reale e corregge i suoi parametri. Ripetuto miliardi di volte su una vasta raccolta di testi, questo compito semplice costringe il modello a imparare grammatica, fatti, stili e anche forme di ragionamento.

Nei modelli encoder si usa invece spesso il compito di indovinare parole nascoste in una frase. Cambia l’esercizio, ma il principio è identico.

Messa a punto e allineamento

Dopo il pre-addestramento, un modello sa completare testi, ma non è ancora un buon assistente. Si passa allora a fasi successive, come il fine-tuning su esempi di istruzioni e risposte e l’apprendimento dal feedback umano, che insegnano al modello a seguire le richieste, a rifiutare quelle inappropriate e a mantenere un tono utile.

Questa è la differenza tra un modello di base e il prodotto che usi ogni giorno. Il Transformer è lo stesso, cambia ciò che gli è stato insegnato dopo.

Perché la scala conta

Una caratteristica dei Transformer è che migliorano in modo abbastanza prevedibile aumentando parametri, dati e potenza di calcolo. Questo è il motivo per cui i laboratori investono in cluster sempre più grandi. Non significa che più grande sia sempre meglio: efficienza, qualità dei dati e tecniche di addestramento contano molto, e i modelli piccoli ben addestrati sono sempre più competitivi.

Contesto, costi e limiti dell’attenzione

Ogni medaglia ha il suo rovescio. Poiché ogni token si confronta con tutti gli altri, il costo dell’attenzione cresce con il quadrato della lunghezza della sequenza: raddoppiare il testo significa circa quadruplicare il calcolo.

La finestra di contesto

Il numero massimo di token che un modello può considerare insieme si chiama finestra di contesto. Ne parliamo in dettaglio nell’articolo sulla finestra di contesto, ma qui basta sapere che dipende direttamente da come funziona l’attenzione e dalla memoria necessaria per gestirla.

Anche quando una finestra è molto ampia, non è detto che il modello usi bene tutto ciò che contiene. L’informazione a metà di un testo lunghissimo può essere sfruttata peggio di quella all’inizio o alla fine.

Le soluzioni per renderlo efficiente

Negli ultimi anni sono state sviluppate molte tecniche per ridurre costi e memoria. Alcune cambiano il modo di calcolare l’attenzione senza alterarne il risultato, ottimizzando l’uso della memoria delle GPU. Altre condividono le key e i value tra più teste, oppure limitano l’attenzione a finestre locali di token. Altre ancora memorizzano i calcoli già fatti per non ripeterli a ogni nuovo token generato.

Esistono inoltre architetture alternative, come i modelli a spazio di stati, che cercano di ottenere un costo lineare. Alcuni sistemi recenti li combinano con strati di attenzione in schemi ibridi. Per ora il Transformer resta lo standard, ma l’area è in movimento.

Allucinazioni e altri limiti

Un Transformer generativo produce il testo più plausibile, non necessariamente quello vero. Per questo può inventare fatti con grande sicurezza, le cosiddette allucinazioni. Conoscere l’architettura aiuta a ricordarlo: il modello non consulta un database di verità, ma calcola probabilità sul prossimo token.

Verificare le fonti resta quindi una buona abitudine, soprattutto per dati, citazioni e riferimenti normativi.

Oltre il testo: Transformer per immagini, audio e video

Il successo dell’architettura ha spinto i ricercatori a provarla ovunque. Nella visione artificiale, i Vision Transformer dividono un’immagine in piccole porzioni quadrate, le trattano come se fossero token e applicano lo stesso meccanismo di attenzione. In diversi compiti competono con le reti convoluzionali.

Lo stesso vale per l’audio, dove il parlato viene convertito in sequenze di frammenti da elaborare. E vale per la generazione di immagini e video, dove molti modelli moderni usano blocchi Transformer all’interno di sistemi basati sulla diffusione.

C’è poi il lavoro sui modelli multimodali, in cui testo, immagini e suoni vengono tradotti in una rappresentazione comune e processati dallo stesso modello. Anche in biologia l’architettura è stata applicata, per esempio per studiare sequenze di proteine.

Il filo conduttore è sempre lo stesso: tutto ciò che si può trasformare in una sequenza di elementi si può dare in pasto a un Transformer.

Come usare queste conoscenze nel lavoro di tutti i giorni

Capire l’architettura non serve soltanto per curiosità. Ha conseguenze pratiche immediate sul modo in cui usi questi strumenti.

Primo: il contesto è tutto. Poiché il modello costruisce ogni risposta in base ai token che ha davanti, un prompt chiaro, ordinato e con le informazioni giuste produce risultati migliori. Se vuoi che tenga conto di un documento, mettilo nel contesto invece di sperare che lo ricordi.

Secondo: più testo non significa sempre risposte migliori. Se riempi la finestra di materiale irrilevante, l’attenzione si distribuisce su cose inutili. Seleziona e riassumi prima di incollare.

Terzo: costi e velocità dipendono dal numero di token. Se usi le API o piani a consumo, ridurre il testo superfluo fa risparmiare davvero, e quando generi testo lungo ogni token in più allunga i tempi di attesa.

Quarto: ricorda che il modello predice, non verifica. Per un lavoro professionale, dalle ricerche SEO ai testi per i clienti, usa l’AI come assistente veloce e tieni sempre un controllo umano sui fatti.

Domande frequenti

Transformer e GPT sono la stessa cosa? No. Transformer è l’architettura, GPT è una famiglia di modelli costruiti con la variante solo decoder. Anche altri modelli di aziende diverse usano la stessa base.

Serve programmare per capirli? Per capire i concetti no. Per costruirne uno, o anche solo per fare esperimenti seri, conviene conoscere Python e una libreria come PyTorch.

I Transformer sono destinati a essere sostituiti? Nessuno può dirlo con certezza. Esistono alternative promettenti, ma finora ogni sfidante ha dovuto confrontarsi con un’architettura estremamente ottimizzata e con un ecosistema enorme di strumenti.

Conclusioni

Il Transformer è l’idea che ha reso possibile l’attuale generazione di intelligenza artificiale: trasformare il testo in vettori, far dialogare ogni elemento con tutti gli altri tramite l’attenzione e impilare molti blocchi per costruire rappresentazioni sempre più ricche.

Il resto, dai chatbot ai generatori di immagini, è una variazione su questo tema.

Ora tocca a te: apri il tuo assistente preferito, scrivi lo stesso prompt con più o meno contesto e osserva come cambia la risposta. È il modo migliore per sentire con mano ciò che hai appena letto. E se vuoi continuare a studiare, esplora gli altri approfondimenti nella categoria Deep learning del blog.

Newsletter gratuita · ogni venerdì

Tutta l'AI della settimana, in 5 minuti, nella tua email

• Le guide e le notizie della settimana, divise per rubrica
• Solo ciò che conta, verificato e spiegato in italiano
• Niente spam, ti cancelli con un clic

La tua email Iscriviti gratis

Ho letto l'informativa privacy e voglio ricevere la newsletter.

Preferisci i social? Seguici:

Seguici su Facebook X LinkedIn