Q-learning: cos’è, come funziona e a cosa serve nell’apprendimento per rinforzo

Ogni volta che un’intelligenza artificiale impara a giocare, a muovere un robot in un ambiente sconosciuto o a scegliere la mossa migliore in una situazione complessa, dietro le quinte c’è spesso un’idea sorprendentemente semplice: assegnare un valore a ogni azione possibile e migliorare quel valore un tentativo dopo l’altro. Questa idea ha un nome preciso, Q-learning, ed è uno degli algoritmi più eleganti e influenti dell’intero campo dell’apprendimento automatico.

Se hai già sentito parlare di agenti che imparano per prova ed errore, hai già incontrato il territorio in cui vive il Q-learning. Qui però non ci limitiamo a raccontarne l’idea: vediamo come funziona davvero, pezzo per pezzo, con un linguaggio accessibile ma senza rinunciare alla precisione.

In questa guida capirai da dove nasce il Q-learning, come un agente costruisce la sua conoscenza del mondo, cosa significano i parametri che lo governano e perché questo metodo, nato alla fine degli anni Ottanta, è ancora oggi alla base di sistemi molto più sofisticati.

Che cos’è il Q-learning e perché è così importante

Il Q-learning è un algoritmo di apprendimento per rinforzo che permette a un agente di imparare quale azione compiere in ogni situazione per massimizzare la ricompensa che otterrà nel tempo. Non riceve istruzioni esplicite su cosa sia giusto o sbagliato: scopre la strategia migliore interagendo con l’ambiente, osservando le conseguenze delle proprie azioni e aggiornando via via le sue stime.

La lettera Q non è casuale. Sta per quality, la qualità di una determinata azione compiuta in un determinato stato. Il cuore dell’algoritmo è proprio la costruzione di una funzione, chiamata funzione Q, che associa a ogni coppia stato-azione un numero: quanto conviene, nel lungo periodo, fare quella mossa partendo da quella situazione.

La cosa affascinante è che l’agente non ha bisogno di conoscere in anticipo le regole del mondo in cui si muove.

Questo lo rende un metodo cosiddetto model-free: non serve un modello matematico dell’ambiente che preveda come reagirà a ogni mossa. All’agente basta poter provare le azioni e ricevere un segnale di ricompensa. Da questa semplice premessa nasce una capacità di adattamento che ha reso il Q-learning un punto di riferimento nella storia dell’intelligenza artificiale.

Per collocarlo nel quadro giusto conviene ricordare che il Q-learning è una tecnica di apprendimento per rinforzo, il terzo grande paradigma dell’apprendimento automatico accanto all’apprendimento supervisionato e a quello non supervisionato. Mentre nel supervisionato un modello impara da esempi già etichettati, qui l’agente impara dalle conseguenze delle proprie scelte, esattamente come farebbe un animale che associa certe azioni a una ricompensa o a una punizione.

Le origini: da Chris Watkins agli algoritmi moderni

Il Q-learning è stato proposto da Chris Watkins alla fine degli anni Ottanta, nell’ambito del suo lavoro di dottorato dedicato all’apprendimento dai ritardi delle ricompense. Pochi anni dopo, insieme a Peter Dayan, Watkins dimostrò formalmente che, sotto certe condizioni, l’algoritmo converge verso la strategia ottimale. Questa garanzia teorica è una delle ragioni della sua fortuna.

Per anni il Q-learning è rimasto uno strumento potente ma limitato a problemi relativamente piccoli. La svolta è arrivata quando è stato combinato con le reti neurali, dando vita a sistemi capaci di imparare a giocare a decine di videogiochi guardando solo i pixel dello schermo. Torneremo su questo passaggio, perché segna il confine tra il Q-learning classico e le sue versioni profonde.

Come funziona il Q-learning passo dopo passo

Per capire davvero il Q-learning conviene smontarlo nei suoi ingredienti fondamentali. Sono pochi e, presi uno alla volta, molto intuitivi. La difficoltà, quando c’è, sta nel vederli lavorare insieme.

Stati, azioni e ricompense

Ogni problema di apprendimento per rinforzo si descrive con tre elementi. Lo stato è la fotografia della situazione in cui si trova l’agente in un dato momento: la posizione di un robot in una stanza, la configurazione di una scacchiera, la schermata di un videogioco. L’azione è ciò che l’agente può fare a partire da quello stato: muoversi a destra, girare, premere un tasto. La ricompensa è il segnale numerico che l’ambiente restituisce dopo un’azione, e indica quanto quella mossa è stata utile.

L’obiettivo dell’agente non è ottenere la ricompensa più alta nell’immediato, ma massimizzare la somma delle ricompense lungo tutto il percorso. Questa distinzione è cruciale.

Un’azione che sembra poco conveniente sul momento può aprire la strada a ricompense molto maggiori più avanti. Pensa a un giocatore di scacchi che sacrifica un pezzo per ottenere un vantaggio decisivo dieci mosse dopo: il Q-learning deve imparare esattamente questo tipo di lungimiranza.

La tabella Q, la memoria dell’agente

Nel Q-learning classico tutta la conoscenza dell’agente vive in una struttura chiamata tabella Q, o Q-table. Immaginala come un grande foglio con una riga per ogni stato possibile e una colonna per ogni azione possibile. In ciascuna cella c’è un numero, il valore Q, che rappresenta la stima di quanto conviene compiere quell’azione in quello stato.

All’inizio la tabella è ignorante. Di solito si riempie con zeri o con valori casuali, perché l’agente non sa ancora nulla del mondo. Ogni volta che agisce e osserva il risultato, però, aggiorna una delle celle, avvicinandola un po’ di più al valore reale. Con il passare delle esperienze la tabella smette di essere un insieme di numeri casuali e diventa una mappa affidabile di ciò che conviene fare.

Quando la tabella è ben addestrata, usarla è banale: in ogni stato l’agente guarda la riga corrispondente e sceglie l’azione con il valore Q più alto. Quella è la sua strategia, in gergo la sua policy.

L’equazione di Bellman e la regola di aggiornamento

Il motore che aggiorna la tabella Q è una formula che prende il nome dal matematico Richard Bellman, uno dei padri della programmazione dinamica. L’idea alla base è ricorsiva e molto profonda: il valore di un’azione oggi dipende dalla ricompensa immediata che produce, più il valore della migliore azione che potrò compiere nello stato in cui mi ritroverò subito dopo.

In pratica, dopo ogni mossa l’agente calcola un nuovo obiettivo per la cella che sta aggiornando. Questo obiettivo è la ricompensa appena ricevuta sommata al miglior valore Q disponibile nello stato successivo, opportunamente ridotto. Poi confronta la stima vecchia con questo obiettivo e corregge il valore Q di una frazione della differenza tra i due.

Quella differenza ha un nome tecnico, errore di differenza temporale, ma il concetto è semplice: è la sorpresa dell’agente.

Se la mossa è andata meglio del previsto, il valore Q sale. Se è andata peggio, scende. Ripetuto milioni di volte, questo piccolo aggiustamento fa emergere dal nulla una strategia sensata. È qui che il Q-learning rivela la sua bellezza: da una regola locale, applicata una cella alla volta, nasce un comportamento globale intelligente.

I tre parametri che governano l’apprendimento

Il comportamento del Q-learning dipende da alcuni parametri che chi progetta il sistema deve scegliere con cura. Non sono dettagli tecnici da trascurare: regolarli male può rendere l’apprendimento lentissimo o instabile, mentre valori ben calibrati fanno la differenza tra un agente che impara e uno che si perde.

Il primo è il tasso di apprendimento, spesso indicato con la lettera greca alfa. Stabilisce quanto peso dare a ogni nuova esperienza rispetto a ciò che l’agente sa già. Un valore alto rende l’agente reattivo ma dimentica in fretta il passato, un valore basso lo rende prudente ma lento. Serve un equilibrio.

Il secondo è il fattore di sconto, indicato con gamma. Determina quanto l’agente tiene in considerazione le ricompense future rispetto a quelle immediate. Con un fattore di sconto vicino a zero l’agente diventa miope e insegue solo il guadagno del momento. Con un valore vicino a uno diventa lungimirante e pianifica a lungo termine, accettando sacrifici immediati per vantaggi futuri.

Il terzo parametro riguarda il modo in cui l’agente sceglie cosa fare mentre sta ancora imparando, ed è così importante da meritare una sezione a parte.

Esplorazione contro sfruttamento, il dilemma centrale

C’è una tensione che attraversa tutto l’apprendimento per rinforzo, e il Q-learning la mette in scena in modo esemplare. Da un lato l’agente vorrebbe sfruttare ciò che ha già imparato, scegliendo sempre l’azione che al momento sembra migliore. Dall’altro, se si limitasse a fare questo, non scoprirebbe mai se esistono strade ancora più vantaggiose che non ha ancora provato.

Questo è il dilemma tra esplorazione e sfruttamento. Sfruttare troppo presto significa accontentarsi di una strategia mediocre. Esplorare all’infinito significa non capitalizzare mai ciò che si è appreso.

La soluzione più diffusa si chiama strategia epsilon-greedy. Funziona così: la maggior parte delle volte l’agente sceglie l’azione con il valore Q più alto, ma con una piccola probabilità, indicata da epsilon, compie invece una mossa a caso. Quel pizzico di casualità lo costringe a provare strade nuove e a non chiudersi in abitudini premature.

Spesso epsilon parte alto, quando l’agente non sa nulla e conviene esplorare molto, e viene ridotto gradualmente man mano che la conoscenza cresce. All’inizio l’agente è un esploratore curioso, alla fine uno stratega che si fida della propria esperienza. Questo passaggio gestito con equilibrio è uno dei segreti di un addestramento riuscito.

Un esempio concreto: l’agente nel labirinto

Le formule diventano chiare quando si vedono in azione. Immagina un piccolo labirinto a griglia, con un punto di partenza, alcune pareti e un’uscita che nasconde una ricompensa. Un agente Q-learning viene lasciato libero di muoversi, senza alcuna mappa e senza sapere dove sia l’uscita.

All’inizio si muove praticamente a caso. Sbatte contro i muri, torna sui suoi passi, vaga senza meta. Ogni tanto, per pura fortuna, raggiunge l’uscita e riceve la ricompensa. In quel momento aggiorna il valore Q dell’ultima azione che lo ha portato al traguardo.

Alla partita successiva quella conoscenza inizia a propagarsi all’indietro.

La cella che portava all’uscita ora ha un valore alto, quindi anche l’azione che conduceva a quella cella diventa più attraente, e così via a ritroso lungo il percorso. Tentativo dopo tentativo, il valore della ricompensa finale filtra all’indietro attraverso la tabella, come una goccia di inchiostro che si diffonde nell’acqua. Dopo molte partite l’agente non vaga più: dalla partenza segue una scia di valori crescenti che lo guida dritto all’uscita.

Nessuno gli ha mai mostrato la strada. L’ha costruita da solo, ricompensa dopo ricompensa, correzione dopo correzione. Questo è il Q-learning al lavoro, ed è lo stesso principio che, su scala enormemente più grande, permette a sistemi complessi di imparare comportamenti raffinati.

Q-learning e SARSA: off-policy contro on-policy

Il Q-learning ha un cugino stretto che vale la pena conoscere, perché il confronto aiuta a capirne la natura. Si chiama SARSA, sigla che descrive la sequenza di elementi che usa per aggiornarsi: stato, azione, ricompensa, stato successivo, azione successiva.

La differenza è sottile ma importante. Quando aggiorna la tabella, il Q-learning guarda sempre alla migliore azione possibile nello stato successivo, anche se poi, magari per via dell’esplorazione, l’agente compirà una mossa diversa. Per questo si dice off-policy: impara la strategia ottimale indipendentemente da come si sta comportando durante l’addestramento.

SARSA invece aggiorna i valori tenendo conto dell’azione che l’agente compirà effettivamente, esplorazione compresa. È un metodo on-policy, che impara il valore della strategia che sta davvero seguendo.

In pratica questo rende il Q-learning più audace e SARSA più prudente. Il primo tende a imparare la via più diretta anche se rischiosa, il secondo predilige percorsi più sicuri quando l’esplorazione può portare a esiti negativi. Non esiste un vincitore assoluto: la scelta dipende da quanto costano gli errori nel problema che stai affrontando.

Dal Q-learning classico al Deep Q-Network

La tabella Q è tanto elegante quanto fragile di fronte alla complessità. Finché gli stati possibili sono poche migliaia, riempire una tabella è fattibile. Ma cosa succede quando gli stati sono astronomici, come nei fotogrammi di un videogioco o nelle configurazioni di un robot con molti sensori? La tabella diventa gigantesca e impossibile da gestire.

Qui entra in gioco l’idea che ha rivoluzionato il campo. Invece di memorizzare ogni valore Q in una cella, si usa una rete neurale per approssimare la funzione Q. La rete riceve in ingresso lo stato e restituisce una stima dei valori Q per ogni azione, generalizzando anche a situazioni mai viste prima. Questa combinazione prende il nome di Deep Q-Network, o DQN, e appartiene alla famiglia del deep reinforcement learning.

Fu proprio un sistema di questo tipo, sviluppato dai ricercatori di DeepMind, a imparare a giocare a decine di classici per Atari partendo unicamente dai pixel dello schermo e dal punteggio, in molti casi superando le prestazioni di un giocatore umano esperto.

Il passaggio dalla tabella alla rete neurale non è indolore e introduce nuove difficoltà. L’addestramento di una rete si basa sull’ottimizzazione dei suoi parametri tramite tecniche come la discesa del gradiente, e combinare questo processo con l’apprendimento per rinforzo può diventare instabile. Per domare questa instabilità sono stati introdotti accorgimenti diventati ormai classici.

Due meritano una menzione. Il primo è la memoria di esperienza, un archivio in cui l’agente conserva le transizioni vissute e da cui ripesca campioni casuali per addestrarsi, spezzando le correlazioni tra esperienze consecutive. Il secondo è l’uso di una rete bersaglio separata, aggiornata più di rado, che fornisce un obiettivo stabile durante l’apprendimento. Sono trucchi ingegneristici, ma sono ciò che ha reso il deep Q-learning praticabile.

Vantaggi, limiti e quando conviene usarlo

Il Q-learning porta con sé pregi che ne spiegano la longevità. È concettualmente semplice, non richiede un modello dell’ambiente, ha solide garanzie teoriche di convergenza nel caso tabellare ed è sorprendentemente flessibile. Per molti problemi di dimensioni contenute resta la scelta più diretta ed efficace.

I limiti però sono reali e vanno conosciuti.

Il primo è la scalabilità: senza l’aiuto delle reti neurali, il metodo tabellare crolla di fronte a spazi di stati molto grandi. Il secondo è la lentezza dell’apprendimento, perché l’agente ha bisogno di moltissime interazioni per stimare bene i valori, cosa poco pratica quando ogni tentativo nel mondo reale costa tempo o denaro. Il terzo riguarda gli spazi di azione continui, come lo sterzo di controllare la coppia di un motore, che il Q-learning classico non gestisce in modo naturale e per cui esistono altri approcci dedicati.

C’è poi la questione delicata della definizione delle ricompense. Un segnale di ricompensa mal progettato può spingere l’agente a comportamenti indesiderati, tecnicamente corretti rispetto all’obiettivo dichiarato ma lontani dalle intenzioni di chi lo ha addestrato. Progettare bene le ricompense è un’arte tanto quanto una scienza.

La regola pratica è questa: quando il problema ha uno spazio di stati gestibile e puoi far interagire l’agente con l’ambiente quante volte vuoi, il Q-learning classico è un ottimo punto di partenza. Quando gli stati esplodono o le azioni sono continue, servono le sue evoluzioni profonde o algoritmi diversi.

Dove incontri il Q-learning nel mondo reale

Anche se il nome è tecnico, le idee del Q-learning e dell’apprendimento per rinforzo sono ovunque. Nella robotica aiutano un braccio meccanico a imparare a manipolare oggetti o un robot a camminare senza cadere. Nei sistemi di controllo ottimizzano la gestione di risorse come l’energia di un data center o il traffico di una rete.

Nei giochi hanno prodotto alcuni dei risultati più spettacolari dell’intelligenza artificiale, da sistemi che dominano i videogiochi classici ad agenti capaci di competere ai massimi livelli in giochi di enorme complessità strategica. Nella logistica e nella gestione operativa aiutano a prendere decisioni sequenziali sotto incertezza, dove ogni scelta influenza le successive.

Vale la pena notare anche il legame con i modelli linguistici che usi ogni giorno.

Le tecniche che rifiniscono il comportamento di assistenti come ChatGPT o Claude affondano le radici nell’apprendimento per rinforzo, in particolare nel cosiddetto RLHF, l’apprendimento per rinforzo dal feedback umano. Le formule specifiche sono diverse da quelle del Q-learning classico, ma la filosofia di fondo è la stessa: migliorare una strategia sulla base di un segnale di ricompensa. È la prova che un’idea nata negli anni Ottanta continua a nutrire l’intelligenza artificiale più avanzata di oggi, e che non è affatto una nota storica ma uno strumento vivo.

Conclusioni: perché vale la pena capire il Q-learning

Il Q-learning è uno di quei concetti che, una volta compresi, cambiano il modo in cui guardi all’intelligenza artificiale. Dietro sistemi apparentemente magici che imparano a giocare, a muoversi e a decidere c’è un meccanismo comprensibile: assegnare un valore a ogni azione, agire, osservare, correggere, ripetere. Da questa danza semplice e instancabile emerge un comportamento intelligente.

Abbiamo visto da dove nasce, come costruisce la sua tabella di valori, cosa significano i suoi parametri, come bilancia esplorazione e sfruttamento e come si è evoluto fino ad abbracciare le reti neurali. Soprattutto, abbiamo visto che non è un reperto da museo ma una radice viva dell’AI contemporanea.

Se questa guida ti ha incuriosito, il passo successivo è naturale: approfondisci l’apprendimento per rinforzo nel suo insieme e osserva come queste idee si intrecciano con le reti neurali e con i modelli che usi ogni giorno. Più capisci i mattoni fondamentali, più diventa chiaro come funziona davvero l’intelligenza artificiale, al di là del clamore. E quella comprensione, in un campo che corre veloce, è il vantaggio più duraturo che tu possa costruire.