Cos’è l’apprendimento per rinforzo (reinforcement learning) e come funziona

L’apprendimento per rinforzo è una delle idee più affascinanti dell’intelligenza artificiale, perché imita il modo in cui gli esseri viventi imparano davvero: provando, sbagliando e aggiustando il tiro in base alle conseguenze delle proprie azioni. Mentre molti sistemi di intelligenza artificiale imparano studiando enormi archivi di esempi già etichettati, un agente che usa l’apprendimento per rinforzo impara interagendo con un ambiente e ricevendo ricompense o penalità.

È la tecnologia dietro i programmi che hanno battuto i campioni mondiali di giochi complessi, dietro molti progressi della robotica e, sorprendentemente, anche dietro il comportamento educato e utile degli assistenti conversazionali che usi ogni giorno. In questa guida completa scoprirai cos’è l’apprendimento per rinforzo, come funziona nei suoi meccanismi fondamentali, quali sono i principali algoritmi e dove viene applicato concretamente.

Cos’è l’apprendimento per rinforzo

L’apprendimento per rinforzo, in inglese reinforcement learning e spesso abbreviato in RL, è un ramo dell’apprendimento automatico in cui un sistema chiamato agente impara a prendere decisioni interagendo con un ambiente per massimizzare una ricompensa nel tempo. La differenza rispetto agli altri approcci è sostanziale.

Per inquadrarlo bene conviene ricordare le tre grandi famiglie in cui si divide il machine learning, un tema che approfondiamo nella nostra guida agli algoritmi di machine learning.

Nell’apprendimento supervisionato il modello impara da una grande quantità di esempi corredati dalla risposta giusta, come fotografie già etichettate con il nome dell’oggetto che contengono. Nell’apprendimento non supervisionato il modello cerca strutture e raggruppamenti nei dati senza che nessuno gli dica quale sia la risposta corretta.

L’apprendimento per rinforzo segue una logica diversa da entrambi: non esiste un insieme di risposte giuste fornito in anticipo, ma un segnale di ricompensa che arriva come conseguenza delle azioni. L’agente non viene istruito su cosa fare, deve scoprirlo da solo provando e osservando cosa funziona. È una forma di apprendimento che si avvicina molto al modo in cui noi stessi impariamo molte abilità pratiche, dalla guida di un’auto al gioco di uno strumento musicale.

Un’analogia per capirlo davvero

Pensa a come si addestra un cane. Non gli spieghi a parole come comportarsi, ma premi i comportamenti desiderati con un bocconcino e ignori o scoraggi quelli sbagliati.

Con il tempo l’animale associa certe azioni a una ricompensa e tende a ripeterle. L’apprendimento per rinforzo funziona in modo concettualmente simile. L’agente compie un’azione, l’ambiente risponde con un nuovo stato e con una ricompensa numerica, e l’agente usa questa informazione per capire quali comportamenti gli conviene adottare.

La grande differenza è che un agente artificiale può ripetere questo ciclo milioni di volte in poche ore, accumulando un’esperienza che a un essere umano richiederebbe molte vite.

Come funziona l’apprendimento per rinforzo: i concetti chiave

Per capire come funziona questo metodo è necessario familiarizzare con alcuni elementi fondamentali, che ricorrono in qualsiasi sistema di apprendimento per rinforzo. Vale la pena soffermarsi su ciascuno, perché sono i mattoni con cui è costruito tutto il resto.

L’agente è il protagonista che apprende e prende le decisioni, per esempio il programma che gioca a scacchi o il software che controlla un braccio robotico. L’ambiente è tutto ciò con cui l’agente interagisce e che risponde alle sue azioni, ovvero la scacchiera con le sue regole o il mondo fisico in cui si muove il robot.

Lo stato è la fotografia della situazione in un dato momento, cioè la disposizione dei pezzi sulla scacchiera o la posizione e la velocità del braccio. L’azione è una delle scelte possibili che l’agente può compiere a partire da uno stato. La ricompensa è il segnale numerico che l’ambiente restituisce dopo ogni azione, e indica quanto quella mossa sia stata buona o cattiva rispetto all’obiettivo.

A questi si aggiungono due concetti un po’ più astratti ma decisivi. La politica, in inglese policy, è la strategia che l’agente segue per scegliere le azioni a partire dagli stati: è il cuore di ciò che l’agente impara, e può essere vista come la sua mappa del comportamento.

La funzione valore stima quanto sia conveniente nel lungo periodo trovarsi in un certo stato o compiere una certa azione, tenendo conto non solo della ricompensa immediata ma anche di quelle future. Proprio questa capacità di guardare oltre il risultato immediato è ciò che rende l’apprendimento per rinforzo tanto potente quanto difficile da governare.

Il ciclo di interazione tra agente e ambiente

Il funzionamento si può riassumere in un ciclo che si ripete continuamente. L’agente osserva lo stato attuale dell’ambiente, sceglie un’azione in base alla propria politica, l’ambiente passa a un nuovo stato e restituisce una ricompensa, e l’agente aggiorna le proprie stime e la propria strategia per fare scelte migliori in futuro.

Questo ciclo, ripetuto un numero enorme di volte, porta gradualmente l’agente a costruire una politica efficace. L’obiettivo non è massimizzare la ricompensa di una singola mossa, ma la somma delle ricompense accumulate lungo l’intera sequenza di decisioni, ciò che in gergo si chiama ricompensa cumulativa o ritorno.

Il dilemma tra esplorazione e sfruttamento

Uno degli aspetti più interessanti dell’apprendimento per rinforzo è la tensione tra esplorazione e sfruttamento. Se l’agente sfrutta sempre e solo ciò che ha già scoperto essere conveniente, rischia di restare bloccato su una strategia mediocre senza accorgersi che ne esisterebbe una migliore.

Se invece esplora di continuo nuove azioni alla ricerca di qualcosa di meglio, spreca occasioni di ottenere ricompense che già conosce. Trovare il giusto equilibrio tra queste due spinte è una delle sfide centrali, e gli algoritmi adottano strategie diverse per gestirla, per esempio scegliendo ogni tanto un’azione casuale anche quando ne conoscono già una buona, così da continuare a imparare.

I principali algoritmi e approcci

Nel corso dei decenni sono nate diverse famiglie di algoritmi per affrontare i problemi di apprendimento per rinforzo. Conoscerle per grandi linee aiuta a orientarsi quando si legge di questo argomento.

Una prima grande categoria è quella dei metodi basati sul valore, di cui l’esempio più noto è il Q-learning. Qui l’agente impara a stimare il valore di ogni coppia stato azione, cioè quanto conviene compiere una certa azione in un certo stato, e poi sceglie le azioni con il valore più alto.

Una seconda categoria è quella dei metodi basati sulla politica, che imparano direttamente la strategia di comportamento senza passare per la stima dei valori, e risultano particolarmente utili quando le azioni possibili sono moltissime o continue, come la regolazione fine di un motore. Esistono poi gli approcci ibridi, chiamati actor critic, che combinano i due mondi facendo collaborare una componente che decide le azioni e una che valuta quanto siano buone.

L’apprendimento per rinforzo profondo

La svolta più importante è arrivata unendo l’apprendimento per rinforzo alle reti neurali profonde, dando vita al cosiddetto deep reinforcement learning. Quando gli stati possibili sono troppi per essere elencati in una tabella, come accade analizzando i pixel grezzi di uno schermo di gioco, una rete neurale profonda può imparare a rappresentarli e a stimare i valori o le politiche.

È grazie a questa combinazione che sono stati raggiunti i risultati più spettacolari del settore. Le reti neurali profonde, e in particolare le architetture moderne che alimentano i grandi modelli, condividono molti principi con gli strumenti che spieghiamo nel nostro approfondimento su cosa sono i transformer e come funzionano, e la loro integrazione con l’apprendimento per rinforzo è oggi uno dei filoni di ricerca più vivaci.

Gli algoritmi più citati, in breve

Quando leggi di apprendimento per rinforzo ricorrono sempre gli stessi nomi. Questa tabella ti aiuta a collocarli nelle famiglie che hai appena visto.

Algoritmo	Famiglia	Idea principale
Q-learning	Basato sul valore	Mantiene una tabella con il valore di ogni coppia stato azione e la aggiorna dopo ogni mossa tramite l’equazione di Bellman
SARSA	Basato sul valore	Aggiorna i valori in base all’azione effettivamente eseguita, risultando più prudente e stabile in alcuni ambienti
DQN (Deep Q-Network)	Basato sul valore, profondo	Sostituisce la tabella con una rete neurale; nel 2013 DeepMind lo usò per imparare i giochi Atari guardando solo i pixel dello schermo
REINFORCE	Basato sulla politica	Il metodo a gradiente della politica più semplice, efficace ma soggetto a forte varianza durante l’addestramento
A3C	Actor critic	Fa lavorare in parallelo più copie dell’agente per rendere l’apprendimento più rapido
PPO (Proximal Policy Optimization)	Actor critic	Presentato da OpenAI nel 2017, limita l’ampiezza di ogni aggiornamento della politica e garantisce una convergenza stabile

Un dettaglio che torna spesso nei testi tecnici è la natura della politica: può essere deterministica, se a ogni stato associa sempre la stessa azione, oppure stocastica, se assegna una probabilità a ciascuna azione possibile. Le politiche stocastiche sono utili anche per gestire l’esplorazione, perché lasciano spazio a scelte diverse dalla più ovvia.

Esempi e applicazioni concrete

L’apprendimento per rinforzo è uscito da tempo dai laboratori e trova applicazione in numerosi ambiti. Il caso più celebre è quello dei giochi.

Sistemi addestrati con queste tecniche hanno battuto i migliori giocatori umani di Go, di scacchi e di videogiochi complessi, imparando strategie che in alcuni casi hanno sorpreso gli stessi esperti per la loro originalità. Questi traguardi non sono solo dimostrazioni accademiche: i giochi sono ambienti controllati e con regole chiare, ideali per mettere alla prova algoritmi che poi vengono trasferiti a problemi reali.

Nella robotica l’apprendimento per rinforzo permette ai macchinari di imparare a camminare, ad afferrare oggetti di forme diverse o a mantenere l’equilibrio, attraverso tentativi ripetuti spesso simulati al computer prima di passare al mondo fisico. Nei sistemi di gestione dell’energia viene usato per ottimizzare il raffreddamento dei centri dati o il consumo delle reti elettriche.

Nella finanza si sperimenta per costruire strategie di negoziazione adattive, mentre nei sistemi di raccomandazione aiuta a decidere quali contenuti proporti per massimizzare il tuo coinvolgimento nel tempo, e non solo il clic immediato.

Il legame con ChatGPT e gli assistenti moderni

C’è un’applicazione che probabilmente usi senza saperlo. I grandi modelli linguistici che alimentano gli assistenti conversazionali vengono perfezionati con una tecnica chiamata apprendimento per rinforzo da feedback umano, nota con la sigla RLHF.

Dopo che il modello ha imparato il linguaggio leggendo enormi quantità di testo, alcune persone valutano le sue risposte indicando quali siano più utili, oneste e appropriate. Questi giudizi vengono trasformati in un segnale di ricompensa, e il modello viene ulteriormente addestrato con l’apprendimento per rinforzo per produrre risposte allineate alle preferenze umane. È questo passaggio che rende un assistente come ChatGPT non solo capace di scrivere frasi corrette, ma anche disposto a essere d’aiuto e a rifiutare richieste problematiche.

Senza l’apprendimento per rinforzo, gli assistenti che conosci sarebbero molto meno utili e affidabili.

Nel dettaglio, l’RLHF si svolge in tre fasi. Prima il modello genera più risposte alla stessa domanda e alcune persone indicano quale preferiscono. Poi con questi confronti si addestra un modello di ricompensa separato, che impara a prevedere quale risposta verrebbe apprezzata. Infine il modello linguistico viene ottimizzato con l’apprendimento per rinforzo, spesso proprio con PPO, per produrre risposte che il modello di ricompensa giudica migliori.

La qualità dei giudizi raccolti pesa moltissimo sul comportamento finale dell’assistente, ed è per questo che le aziende investono nella selezione e nella formazione delle persone che li forniscono. Esiste anche una variante, chiamata RLAIF, in cui il feedback arriva da un altro modello di intelligenza artificiale invece che da valutatori umani, riducendo tempi e costi. Se vuoi vedere passo per passo come questa tecnica modella assistenti come ChatGPT e Claude, trovi tutti i dettagli nella guida dedicata all’RLHF.

Sapere che esiste questo ciclo di affinamento ti aiuta anche a leggere meglio gli aggiornamenti: quando un assistente diventa più preciso o più aderente alle richieste, spesso è il risultato di un nuovo giro di addestramento basato sul feedback, ed è anche il motivo per cui la stessa domanda può ricevere risposte un poco diverse a distanza di mesi.

Vantaggi, limiti e sfide aperte

L’apprendimento per rinforzo offre un vantaggio unico: permette di affrontare problemi in cui non sappiamo a priori quale sia la soluzione giusta, ma sappiamo riconoscere un buon risultato quando lo vediamo. Questo lo rende adatto a compiti sequenziali, dove ogni decisione influenza le successive, e a situazioni che cambiano nel tempo.

Tuttavia non è una bacchetta magica, e presenta difficoltà concrete che è onesto conoscere.

La prima è la grande quantità di tentativi necessari per imparare, un problema noto come scarsa efficienza nei campioni: addestrare un agente può richiedere milioni di interazioni, fattibili in una simulazione ma costose o pericolose nel mondo reale. La seconda è la difficoltà di progettare bene la ricompensa.

Se il segnale è formulato male, l’agente può trovare scorciatoie che massimizzano la ricompensa senza raggiungere davvero l’obiettivo desiderato, un fenomeno che gli studiosi chiamano reward hacking. La terza riguarda la sicurezza e la prevedibilità: un agente che esplora liberamente potrebbe compiere azioni indesiderate, ed è per questo che il controllo del comportamento e l’allineamento ai valori umani sono temi di ricerca cruciali, affrontati con grande attenzione da aziende come quella che sviluppa Claude.

Un esempio rende bene l’idea della ricompensa mal progettata: un robot premiato per la velocità, se questa viene misurata in modo ingenuo, può imparare a saltare invece di camminare. Accanto a questo problema c’è quello della generalizzazione. Molti agenti diventano bravissimi nell’ambiente in cui sono stati addestrati e falliscono davanti a varianti anche piccole dello stesso compito, ed è per questo che il trasferimento delle competenze da un problema all’altro è una delle aree di ricerca più attive.

Una risposta alla fame di tentativi arriva dagli approcci basati su un modello dell’ambiente, in inglese model-based. Invece di imparare direttamente quale azione compiere, l’agente costruisce prima una rappresentazione interna di come funziona il mondo e poi la usa per pianificare, simulando le conseguenze delle mosse prima di farle davvero. Questo riduce molto il numero di interazioni necessarie. Il caso più noto è MuZero di DeepMind, che ha imparato a giocare a Go, scacchi e giochi Atari senza che nessuno gli fornisse le regole.

Come iniziare a studiare l’apprendimento per rinforzo

Se questo argomento ti ha incuriosito e vuoi approfondirlo, conviene procedere con ordine. Una base utile comprende alcuni prerequisiti che vale la pena consolidare prima di tuffarsi negli algoritmi più avanzati.

• Una conoscenza di base della probabilità e della statistica, perché l’apprendimento per rinforzo ragiona in termini di valori attesi e incertezza.
• Qualche nozione di programmazione, idealmente in Python, il linguaggio più usato per sperimentare con questi metodi.
• Una comprensione generale delle reti neurali, indispensabile per affrontare l’apprendimento per rinforzo profondo.

A partire da queste basi puoi studiare prima i concetti fondamentali, come la politica, la funzione valore e il dilemma tra esplorazione e sfruttamento, per poi passare agli algoritmi classici come il Q-learning e infine alle tecniche profonde. Esistono ambienti di simulazione pensati apposta per esercitarsi, in cui puoi addestrare un agente a risolvere piccoli problemi e osservare con i tuoi occhi come migliora con l’esperienza.

Imparare facendo, in questo campo, vale molto più di qualsiasi spiegazione teorica.

Conclusioni

L’apprendimento per rinforzo rappresenta un modo profondamente diverso di insegnare a una macchina, fondato non sull’imitazione di esempi ma sulla scoperta attraverso l’esperienza e le conseguenze. Dai trionfi nei giochi più complessi alla robotica, fino al perfezionamento degli assistenti conversazionali che usi ogni giorno, questa tecnologia è già parte integrante del panorama dell’intelligenza artificiale, e il suo ruolo è destinato a crescere man mano che gli agenti autonomi diventano più capaci.

Capirne i principi non significa solo arricchire la propria cultura tecnica, ma anche acquisire gli strumenti per valutare con spirito critico le promesse e i rischi di una delle frontiere più dinamiche del settore.

Ora che hai un quadro chiaro di cosa sia l’apprendimento per rinforzo e di come funzioni, ti invitiamo a continuare il tuo percorso esplorando le altre guide del nostro sito dedicate al machine learning, alle reti neurali e agli assistenti basati sull’intelligenza artificiale. Se questa guida ti è stata utile, salvala tra i preferiti e condividila con chi vuole capire come le macchine imparano davvero, perché comprendere queste basi è il primo passo per usare la tecnologia con consapevolezza.

Newsletter gratuita · ogni venerdì

Tutta l'AI della settimana, in 5 minuti, nella tua email

• Le guide e le notizie della settimana, divise per rubrica
• Solo ciò che conta, verificato e spiegato in italiano
• Niente spam, ti cancelli con un clic

La tua email Iscriviti gratis

Ho letto l'informativa privacy e voglio ricevere la newsletter.

Preferisci i social? Seguici:

Seguici su Facebook X LinkedIn