Cosa sono i token e come funziona la tokenizzazione nei modelli di intelligenza artificiale

Ogni volta che scrivi un messaggio a ChatGPT, Claude o Gemini, il tuo testo non arriva al modello come lo vedi tu. Prima di essere elaborato viene spezzato in piccole unità chiamate token. I token sono l’unità di misura nascosta dell’intelligenza artificiale generativa: determinano quanto puoi scrivere in una richiesta, quanto quella richiesta costa e persino perché a volte il modello sbaglia a contare le lettere di una parola. Capire cosa sono e come funziona la tokenizzazione ti aiuta a usare gli strumenti di AI in modo più consapevole ed efficiente. In questa guida vediamo cosa sono i token, come vengono creati, perché contano per la finestra di contesto e per i costi, e come puoi tenerli sotto controllo.

Cosa sono i token nei modelli di intelligenza artificiale

Un token è la più piccola unità di testo che un modello linguistico è in grado di leggere e produrre. Puoi immaginarlo come un mattoncino: una frase viene scomposta in una sequenza di mattoncini, il modello li elabora uno dopo l’altro e restituisce altri mattoncini, che vengono poi ricomposti nel testo che compare sullo schermo.

Un token, però, non coincide quasi mai con una parola intera.

A seconda dei casi un token può essere una parola completa, una parte di parola, un singolo carattere o un segno di punteggiatura. Le parole molto comuni, come “casa” o l’inglese “the”, di solito corrispondono a un solo token, mentre i termini più lunghi o rari vengono divisi in più pezzi. La parola “intelligenza”, per esempio, può essere spezzata in due o tre token, e anche uno spazio o una virgola contano come token a sé.

Perché i modelli non leggono le parole come noi

Un modello linguistico non capisce il testo nel senso umano del termine. Lavora sui numeri. Ogni token del vocabolario è associato a un identificativo numerico, e il modello manipola queste sequenze di numeri per prevedere quale token è più probabile che arrivi dopo. È così che i large language model generano testo, prevedendo un token alla volta sulla base di tutti quelli che lo precedono.

In altre parole, per il modello una frase è una lista di numeri, non di lettere.

Dopo la tokenizzazione ogni token viene trasformato in un vettore di numeri, chiamato embedding, che ne rappresenta il significato in uno spazio matematico. Questi vettori vengono poi elaborati dall’architettura Transformer, il tipo di rete neurale che sta dietro quasi tutti i modelli generativi moderni. Il token, quindi, è il punto di partenza dell’intera catena di elaborazione.

Token, parole e caratteri: che rapporto c’è

Non esiste una corrispondenza fissa tra token e parole, ma ci sono regole pratiche utili per farsi un’idea. Per l’inglese, OpenAI indica che in media un token equivale a circa quattro caratteri e che cento token corrispondono all’incirca a settantacinque parole. Detto in modo semplice, un token vale grossomodo tre quarti di una parola inglese.

Per l’italiano il conto cambia, e non a nostro favore.

Le lingue diverse dall’inglese tendono a essere spezzate in più token a parità di significato, perché i tokenizzatori sono addestrati soprattutto su testi in inglese. Lo stesso concetto, scritto in italiano, può richiedere un numero di token sensibilmente più alto. Più avanti vediamo perché questo dettaglio ha conseguenze concrete su costi e spazio disponibile.

Come funziona la tokenizzazione

La tokenizzazione è il processo che trasforma una stringa di testo in una sequenza di token. Avviene prima che il modello entri in gioco ed è gestita da un componente separato, chiamato tokenizzatore. Il tokenizzatore segue regole fisse, decise durante il suo addestramento, e le applica sempre allo stesso modo a ogni testo che riceve.

L’obiettivo è trovare un equilibrio.

Da un lato si potrebbe dividere il testo in singoli caratteri: il vocabolario sarebbe piccolo, ma le sequenze diventerebbero lunghissime e il modello farebbe fatica a cogliere il significato. Dall’altro si potrebbe usare una parola per ogni token, ma servirebbe un vocabolario enorme e ogni parola nuova o scritta in modo insolito manderebbe in crisi il sistema. La soluzione adottata dalla maggior parte dei modelli sta nel mezzo, ed è la tokenizzazione a sottoparole.

La tokenizzazione a sottoparole e il Byte Pair Encoding

La tecnica più diffusa si chiama Byte Pair Encoding, spesso abbreviata in BPE. L’idea di fondo è semplice: si parte dai singoli caratteri e si osserva quali coppie compaiono più spesso nei testi di addestramento. Le coppie più frequenti vengono unite in un’unica unità, e il procedimento si ripete migliaia di volte, costruendo via via sottoparole sempre più lunghe.

Il risultato è un vocabolario in cui le sequenze di caratteri più comuni, come radici, prefissi e suffissi, diventano token singoli, mentre le combinazioni rare restano spezzate in pezzi più piccoli. In questo modo il tokenizzatore riesce a rappresentare qualsiasi testo, comprese parole mai viste prima, senza bisogno di un vocabolario infinito.

Esistono varianti di questo approccio, come WordPiece e Unigram, ma il principio di base resta lo stesso.

Il vocabolario del tokenizzatore

Ogni tokenizzatore ha un vocabolario di dimensione fissa, cioè l’elenco completo dei token che conosce. Il tokenizzatore usato dai modelli della famiglia GPT-4 ne contiene circa centomila, e i modelli più recenti tendono ad avere vocabolari ancora più ampi. Un vocabolario più grande permette di rappresentare lo stesso testo con meno token, ma rende il modello un po’ più pesante da gestire.

Ogni voce del vocabolario ha un numero identificativo univoco.

Nel vocabolario rientrano anche i cosiddetti token speciali, che non corrispondono a testo vero e proprio ma servono a segnalare eventi particolari, come l’inizio o la fine di un messaggio oppure la separazione tra il ruolo del sistema e quello dell’utente. Sono invisibili nella conversazione, ma indispensabili per far funzionare il dialogo.

La finestra di contesto: perché i token contano davvero

La ragione principale per cui i token non sono un dettaglio riservato agli addetti ai lavori è la finestra di contesto. Ogni modello può gestire solo un numero massimo di token per volta, e questo limite comprende sia quello che scrivi tu, sia la risposta che il modello genera, sia, nelle conversazioni lunghe, tutto lo storico dello scambio.

Quando superi il limite, qualcosa deve per forza restare fuori.

Nei primi modelli la finestra di contesto era di poche migliaia di token, appena qualche pagina di testo. I modelli attuali hanno fatto passi da gigante e arrivano a gestire centinaia di migliaia di token, in alcuni casi oltre il milione, l’equivalente di interi libri. Anche così, il limite esiste sempre, e quando una conversazione lo supera il modello inizia a perdere di vista le parti più vecchie. È questo il motivo per cui a volte sembra dimenticare quello che gli avevi detto all’inizio.

Conoscere l’esistenza della finestra di contesto ti aiuta a capire perché conviene essere sintetici quando non serve dilungarsi, perché i documenti molto lunghi vanno divisi in parti e perché scrivere buone istruzioni fa la differenza. Su quest’ultimo punto abbiamo dedicato una guida al prompt engineering che spiega come ottenere di più con meno.

Token e costi: come si paga l’intelligenza artificiale

Se usi le AI tramite le loro interfacce web con un abbonamento mensile, i token restano dietro le quinte. Ma nel momento in cui usi le API, cioè colleghi un modello a un programma o a un servizio, il prezzo si calcola quasi sempre in base al numero di token.

Si paga a consumo, un po’ come l’elettricità.

In genere i token in ingresso, cioè il testo che invii, e i token in uscita, cioè la risposta, hanno tariffe diverse, e l’output di solito costa più dell’input. Questo significa che le risposte lunghe e prolisse costano di più, e che ogni parola superflua nel prompt, moltiplicata per migliaia di richieste, si trasforma in una voce di spesa concreta.

Per chi sviluppa applicazioni basate sull’AI, tenere d’occhio i token è quindi una questione economica prima ancora che tecnica. Ridurre il numero di token senza perdere informazioni utili è una delle ottimizzazioni più efficaci per contenere i costi.

Perché la tokenizzazione penalizza l’italiano

Abbiamo accennato al fatto che l’italiano consuma più token dell’inglese. Vale la pena capire perché, perché si tratta di una disparità con effetti pratici. I tokenizzatori vengono costruiti a partire da grandi raccolte di testo in cui l’inglese è di gran lunga la lingua più rappresentata. Di conseguenza le parole inglesi tendono a corrispondere a token interi, mentre quelle italiane vengono spezzate più spesso in frammenti.

Lo stesso messaggio, in italiano, occupa più spazio e costa di più.

Le lingue con alfabeti non latini, come il cinese, l’arabo o l’hindi, sono spesso penalizzate ancora di più. Questo squilibrio ha conseguenze tangibili: a parità di finestra di contesto, chi scrive in italiano ha di fatto meno spazio a disposizione, e chi usa le API in italiano paga un po’ di più per lo stesso contenuto. È un aspetto che i tokenizzatori più recenti stanno progressivamente riducendo, ma che a oggi resta reale.

Perché l’AI sbaglia a contare le lettere

Uno degli esempi più famosi per spiegare i limiti della tokenizzazione riguarda una domanda apparentemente banale: quante volte compare la lettera erre nella parola inglese “strawberry”? Molti modelli, almeno nelle versioni passate, rispondevano in modo sbagliato.

La colpa non è della matematica, ma dei token.

Il modello non vede le singole lettere che compongono una parola, ma il token o i token in cui quella parola è stata divisa. Se “strawberry” viene rappresentata da due o tre token, il modello non ha un accesso diretto e affidabile alle lettere che li compongono, e contare i caratteri diventa un compito sorprendentemente difficile per uno strumento che riesce invece a scrivere un saggio articolato. Capire questo meccanismo ti aiuta a farti un’idea realistica di cosa un modello linguistico sa fare bene e di cosa, per come è costruito, fa più fatica.

Come contare e ottimizzare i token

La buona notizia è che i token non sono un mistero: puoi vederli e contarli. OpenAI mette a disposizione uno strumento online chiamato Tokenizer, in cui incolli un testo e osservi esattamente in quanti e quali token viene diviso. Per chi programma esiste invece la libreria tiktoken, che consente di calcolare il numero di token prima ancora di inviare una richiesta.

Sul fronte pratico, qualche accortezza ti aiuta a spendere meno token e a ottenere risposte migliori:

• Sii conciso ed elimina parole di riempimento e ripetizioni, soprattutto quando lavori via API.
• Nelle conversazioni lunghe riassumi le parti più vecchie invece di trascinarle per intero a ogni messaggio.
• Dividi i documenti lunghi in blocchi più piccoli quando li dai in pasto a un modello.
• Stima i costi in anticipo, contando i token con gli strumenti dedicati prima di andare in produzione.

Sono piccole abitudini che, sommate, fanno una differenza notevole su costi e qualità.

Conclusioni

I token sono l’unità di misura invisibile con cui l’intelligenza artificiale legge, scrive e viene pagata. Sapere cosa sono e come funziona la tokenizzazione non serve solo a soddisfare una curiosità tecnica: ti aiuta a scrivere prompt migliori, a capire i limiti della finestra di contesto, a prevedere i costi e a interpretare correttamente gli errori del modello.

In fondo, imparare a ragionare in token significa imparare a parlare la lingua delle macchine.

Se vuoi continuare a costruire basi solide sul funzionamento dell’AI, esplora le altre guide del sito e prova subito a incollare un tuo testo in uno strumento di tokenizzazione: vedere con i tuoi occhi come una frase si trasforma in token è il modo più semplice per iniziare a usare l’intelligenza artificiale con più consapevolezza.