A cosa serve il reinforcement learning: applicazioni ed esempi concreti

Immagina un programma che non riceve mai istruzioni esplicite su cosa fare, ma impara a comportarsi bene semplicemente provando, sbagliando e osservando le conseguenze delle proprie scelte. È questa l’idea alla base del reinforcement learning, o apprendimento per rinforzo, uno dei rami più affascinanti e potenti dell’intelligenza artificiale.

Se hai già letto qualcosa sull’argomento, probabilmente conosci la teoria di fondo: un agente, un ambiente, una ricompensa da massimizzare. Ma la domanda che conta davvero, quella che ti sei posto arrivando fin qui, è un’altra. A cosa serve, in concreto, tutto questo?

La risposta è più ampia di quanto immagini.

Il reinforcement learning non è un esercizio accademico chiuso nei laboratori. È la tecnologia che ha battuto i campioni mondiali di Go, che aiuta i robot a camminare e ad afferrare oggetti, che riduce i consumi energetici dei data center e che, senza che tu te ne accorga, contribuisce a rendere più utili i chatbot che usi ogni giorno.

In questa guida ti accompagno attraverso le sue applicazioni concrete, spiegandoti non solo dove viene usato, ma perché proprio questo approccio funziona così bene in certi problemi e molto meno in altri.

Prima di capire a cosa serve, un rapido ripasso su come funziona

Per apprezzare fino in fondo le applicazioni dell’apprendimento per rinforzo devi tenere a mente un’immagine semplice, quella di qualcuno che impara da solo per tentativi ripetuti, un po’ come un bambino che scopre come tenersi in equilibrio sulla bicicletta.

Agente, ambiente e ricompensa: il ciclo che muove tutto

Al centro di ogni sistema di reinforcement learning c’è un agente, cioè il programma che deve imparare. L’agente vive dentro un ambiente, osserva lo stato in cui si trova e compie un’azione. L’ambiente risponde con un nuovo stato e con un segnale numerico chiamato ricompensa, che dice all’agente se la mossa è stata utile oppure dannosa rispetto all’obiettivo finale.

L’agente non conosce in anticipo la strategia giusta. La costruisce poco a poco, ripetendo migliaia o milioni di volte questo ciclo di osservazione, azione e ricompensa, fino a sviluppare quella che in gergo si chiama policy, ovvero la regola che collega ogni situazione all’azione migliore.

Il punto chiave è che nessuno gli dice mai qual è la mossa corretta. Gliela fa scoprire l’esperienza.

Questa differenza sembra sottile, ma cambia tutto. Se vuoi approfondire i meccanismi di base ti consiglio la nostra guida completa su come funziona il reinforcement learning, perché qui do per acquisiti i concetti fondamentali e mi concentro sugli usi pratici.

Perché è diverso dall’apprendimento supervisionato

Nell’apprendimento supervisionato, l’approccio più diffuso nel machine learning, il modello impara da esempi già etichettati: migliaia di foto di gatti contrassegnate come gatti, migliaia di email marcate come spam. Qualcuno ha già fornito la risposta giusta per ogni caso.

Nel reinforcement learning quella risposta non esiste.

L’agente riceve solo un feedback indiretto, spesso ritardato nel tempo, che gli dice quanto bene sta andando ma non gli mostra la soluzione. È esattamente ciò che serve quando il problema consiste in una sequenza di decisioni collegate tra loro, dove ogni scelta influenza le successive e il risultato si vede solo alla fine. Vincere una partita, guidare un’auto, gestire un magazzino: nessuno di questi compiti si riduce a una singola previsione isolata.

I giochi, il banco di prova che ha reso famoso il reinforcement learning

Se oggi conosci il nome di questa tecnologia, con ogni probabilità lo devi ai giochi. Non perché sia il suo impiego più utile, ma perché è stato il più spettacolare e il più facile da raccontare.

Da AlphaGo ad AlphaZero

Nel 2016 il programma AlphaGo, sviluppato da DeepMind, sconfisse Lee Sedol, uno dei più forti giocatori di Go al mondo, in una sfida seguita da milioni di persone. Il Go era considerato una frontiera quasi inespugnabile per le macchine, perché il numero di configurazioni possibili sulla scacchiera supera di gran lunga quello degli scacchi e non basta la pura forza di calcolo per affrontarlo.

AlphaGo imparò combinando l’analisi di partite umane con l’apprendimento per rinforzo, giocando contro sé stesso un numero enorme di volte.

Il passo successivo fu ancora più radicale. AlphaZero partì senza alcuna conoscenza umana, se non le regole del gioco, e raggiunse un livello sovrumano in Go, scacchi e shogi allenandosi esclusivamente contro sé stesso. In poche ore di autoapprendimento riscoprì strategie che gli esseri umani avevano affinato in secoli, e ne inventò di nuove che oggi influenzano il modo di giocare dei campioni.

Dai giochi da tavolo ai videogiochi complessi

I giochi da tavolo hanno regole precise e informazione completa, cioè vedi sempre tutta la scacchiera. I videogiochi moderni sono molto più caotici, con informazione parziale, tempo reale e un numero altissimo di azioni possibili in ogni istante.

Anche qui il reinforcement learning ha ottenuto risultati notevoli. Sistemi come AlphaStar per StarCraft II e OpenAI Five per Dota 2 hanno raggiunto o superato il livello dei professionisti in ambienti dove servono coordinazione, pianificazione a lungo termine e capacità di reagire all’imprevisto.

Per gestire questa complessità entra in gioco il deep reinforcement learning, che unisce l’apprendimento per rinforzo alle reti neurali profonde e permette all’agente di interpretare input ricchi come le immagini di uno schermo.

Perché i giochi contano oltre il divertimento

Ti starai chiedendo che utilità abbia insegnare a un computer a vincere ai videogiochi. La risposta è che un gioco è un laboratorio perfetto.

Offre regole chiare, un obiettivo misurabile e la possibilità di simulare milioni di partite in poco tempo, senza rischi e senza costi materiali. Le tecniche affinate sui giochi diventano poi la base per affrontare problemi del mondo reale che condividono la stessa struttura, fatta di decisioni sequenziali sotto incertezza. In questo senso i giochi non sono il traguardo, ma la palestra.

La robotica e il mondo fisico

Il salto dai pixel di uno schermo al mondo reale è enorme, e la robotica è forse il campo in cui il reinforcement learning mostra insieme il suo potenziale e le sue difficoltà più concrete.

Imparare a camminare, afferrare, manipolare

Programmare a mano ogni movimento di un robot è complicatissimo, perché il mondo fisico è pieno di attriti, imprecisioni e situazioni impreviste. Con l’apprendimento per rinforzo, invece, il robot può imparare da solo a coordinare i propri motori per raggiungere un obiettivo, che sia camminare su un terreno irregolare o afferrare un oggetto di forma sconosciuta.

Il segreto sta spesso nella simulazione.

Gli ingegneri allenano l’agente in un ambiente virtuale, dove può cadere e sbagliare milioni di volte senza rompere nulla, e poi trasferiscono la strategia appresa al robot reale. Questo passaggio dal simulato al reale resta una delle sfide aperte più interessanti, perché la realtà non coincide mai perfettamente con la simulazione.

Automazione industriale e logistica di magazzino

Nelle fabbriche e nei centri di distribuzione il reinforcement learning aiuta a ottimizzare compiti ripetitivi ma variabili, come lo smistamento dei pacchi, la movimentazione dei materiali o il coordinamento di flotte di robot che si muovono nello stesso spazio senza scontrarsi.

In questi contesti il valore non è la spettacolarità, ma l’efficienza. Anche un piccolo miglioramento nei percorsi o nei tempi, moltiplicato per milioni di operazioni, si traduce in risparmi molto concreti.

La guida autonoma e la gestione dei trasporti

La guida autonoma è uno degli esempi più citati quando si parla di applicazioni dell’intelligenza artificiale, e il reinforcement learning vi gioca un ruolo, anche se raramente da solo.

Guidare significa prendere una sequenza continua di decisioni in un ambiente che cambia di secondo in secondo, dove ogni scelta influenza quella successiva. Questa struttura è esattamente quella per cui l’apprendimento per rinforzo è pensato.

Nella pratica le aziende lo usano soprattutto per affinare comportamenti specifici, come la gestione dei cambi di corsia, l’inserimento nel traffico o la scelta della velocità in situazioni complesse, spesso addestrando gli agenti in simulatori estremamente dettagliati prima di portarli su strada.

Va detto con onestà che la sicurezza impone grande cautela. Un errore su una scacchiera non ha conseguenze, un errore alla guida sì, e per questo il reinforcement learning nei veicoli viene affiancato da molti altri sistemi di controllo e verifica.

Lo stesso ragionamento vale per la gestione del traffico urbano, dove agenti intelligenti possono regolare i semafori in tempo reale per ridurre le code, adattandosi al flusso reale delle auto invece di seguire cicli fissi.

Ottimizzazione di sistemi complessi: energia, reti e risorse

C’è un’intera famiglia di problemi che non fa notizia ma dove il reinforcement learning porta un valore enorme, e riguarda l’ottimizzazione di sistemi complicati in cui le variabili in gioco sono troppe perché una persona possa gestirle a mano.

Data center e consumi energetici

Uno degli esempi più noti e documentati arriva ancora da DeepMind. Applicando l’apprendimento per rinforzo al raffreddamento dei data center di Google, il sistema è riuscito a ridurre in modo consistente l’energia impiegata per il raffreddamento, con un risparmio che l’azienda ha indicato attorno al quaranta per cento in quella specifica voce di consumo.

È un risultato che merita attenzione.

Non parliamo di un gioco o di una dimostrazione, ma di infrastrutture reali che consumano quantità imponenti di elettricità, dove una percentuale di risparmio significa meno emissioni e costi più bassi. L’agente impara a regolare i parametri di raffreddamento meglio di quanto farebbe una configurazione fissa, perché si adatta di continuo alle condizioni effettive.

Reti, catene di fornitura e allocazione delle risorse

La stessa logica si applica alla gestione delle reti di telecomunicazione, all’instradamento dei dati, alla programmazione delle risorse di calcolo e all’ottimizzazione delle catene di fornitura. In tutti questi casi il problema è decidere, momento per momento, come distribuire risorse limitate per massimizzare un obiettivo nel tempo.

È il tipo di sfida in cui gli esseri umani si affidano a regole approssimate, mentre un agente ben addestrato può trovare strategie più fini, purché l’obiettivo sia definito con precisione.

Finanza, marketing e sistemi di raccomandazione

Anche il mondo del business ha guardato con interesse al reinforcement learning, soprattutto dove le decisioni si susseguono nel tempo e vanno adattate al comportamento di mercati e persone.

Trading e gestione dei portafogli

Nel settore finanziario si sperimentano agenti che imparano strategie di negoziazione o di ribilanciamento di un portafoglio, cercando di massimizzare il rendimento tenendo conto del rischio. L’idea è affascinante, perché i mercati sono ambienti dinamici in cui ogni azione può influenzare le successive.

Serve però prudenza. I mercati finanziari sono rumorosi, imprevedibili e cambiano regime, e una strategia che ha funzionato nel passato non garantisce risultati futuri. Questo non è un consiglio di investimento, ma un invito a considerare che qui il reinforcement learning è uno strumento di ricerca e supporto, non una formula magica.

Raccomandazioni, pubblicità e personalizzazione

Se ti occupi di marketing questo aspetto ti riguarda da vicino. Molti sistemi di raccomandazione, cioè quelli che decidono quale contenuto, prodotto o video proporti, possono essere formulati come problemi di apprendimento per rinforzo, dove l’obiettivo è massimizzare l’interesse e la soddisfazione dell’utente nel lungo periodo e non solo il clic immediato.

Lo stesso vale per l’ottimizzazione delle campagne pubblicitarie e per la scelta di quando e come mostrare un messaggio.

Un tema classico in questo ambito è il compromesso tra esplorazione e sfruttamento, cioè la tensione tra proporre ciò che già funziona e provare qualcosa di nuovo per scoprire preferenze inattese. Se ti incuriosisce, lo abbiamo raccontato nell’articolo dedicato al funzionamento del Q-learning, uno degli algoritmi storici del settore.

Sanità, scienza e scoperte algoritmiche

Alcune delle applicazioni più promettenti, e insieme più delicate, riguardano la salute e la ricerca scientifica.

In medicina si studiano agenti capaci di suggerire piani terapeutici personalizzati, adattando dosaggi e interventi all’evoluzione delle condizioni del paziente, che è per sua natura una sequenza di decisioni nel tempo. Qui però la posta in gioco è altissima e la sperimentazione procede con estrema cautela, perché un errore non è mai accettabile e la trasparenza delle scelte diventa un requisito irrinunciabile.

Sul fronte scientifico i risultati sono già tangibili.

Sistemi basati sull’apprendimento per rinforzo hanno contribuito a scoprire algoritmi più efficienti per operazioni fondamentali come la moltiplicazione tra matrici e l’ordinamento dei dati, compiti che stanno alla base di innumerevoli programmi. In un altro esperimento notevole, la stessa famiglia di tecniche è stata usata per controllare in tempo reale il plasma incandescente all’interno di un reattore sperimentale per la fusione nucleare, un ambiente in cui le decisioni vanno prese in frazioni di secondo.

Sono esempi che mostrano una direzione precisa, quella di un’intelligenza artificiale che non si limita a imitare l’uomo, ma esplora soluzioni che nessuno aveva ancora immaginato.

I chatbot e i modelli linguistici: il reinforcement learning che usi ogni giorno

C’è un’applicazione che probabilmente hai già usato oggi, magari poco fa, senza sapere che dietro ci fosse anche l’apprendimento per rinforzo.

I grandi modelli linguistici come ChatGPT, Gemini o Claude vengono prima addestrati su enormi quantità di testo, ma quel passaggio da solo non basta a renderli davvero utili e allineati alle intenzioni delle persone. Per questo entra in scena una tecnica chiamata apprendimento per rinforzo dal feedback umano, nota con la sigla RLHF.

Il meccanismo è ingegnoso.

Alcune persone valutano le risposte del modello indicando quali preferiscono, da queste preferenze si costruisce un modello di ricompensa che approssima il giudizio umano, e infine il modello linguistico viene ottimizzato con l’apprendimento per rinforzo per generare risposte che quel giudizio premierebbe.

È così che un assistente diventa più chiaro, più educato e più aderente a ciò che gli chiedi. Se vuoi capire nel dettaglio questo processo, trovi tutto nella nostra guida su come l’RLHF addestra ChatGPT e Claude.

Questa è forse la dimostrazione più chiara di quanto il reinforcement learning sia già dentro la tua vita quotidiana.

Limiti, rischi e quando conviene davvero usarlo

Dopo tanti esempi entusiasmanti è giusto fare un passo indietro e ragionare con lucidità, perché il reinforcement learning non è la risposta a ogni problema.

Il primo ostacolo è la quantità di esperienza necessaria. Un agente ha spesso bisogno di milioni di tentativi per imparare, e questo è fattibile in una simulazione ma diventa costoso o pericoloso nel mondo reale, dove non puoi permetterti di sbagliare all’infinito.

Il secondo problema riguarda la definizione della ricompensa.

Se il segnale che guida l’agente è formulato male, il sistema imparerà a massimizzarlo in modi che non avevi previsto, magari raggiungendo il numero desiderato senza ottenere il risultato che davvero volevi. Questo fenomeno, a volte chiamato reward hacking, ricorda una verità semplice, cioè che una macchina ottimizza ciò che le chiedi di ottimizzare, non ciò che intendevi.

Ci sono poi i temi della sicurezza e della trasparenza. In contesti critici come la sanità oppure la guida serve poter capire e verificare le scelte dell’agente, e non sempre è facile.

La regola pratica è questa: il reinforcement learning conviene quando il problema è una sequenza di decisioni con un obiettivo chiaro e misurabile, quando puoi simulare l’ambiente in modo realistico e quando il costo degli errori durante l’apprendimento è gestibile. Se una di queste condizioni manca, spesso altri approcci sono più adatti.

Conclusioni: una tecnologia silenziosa ma pervasiva

Se sei arrivato fin qui hai capito che la domanda iniziale, a cosa serve il reinforcement learning, non ha una risposta sola. Serve a vincere ai giochi più difficili, a far muovere i robot, a risparmiare energia, a gestire risorse complesse, a rendere più utili gli assistenti conversazionali e persino a scoprire nuovi algoritmi.

Il filo che unisce tutti questi impieghi è sempre lo stesso, quello di un sistema che impara a prendere buone decisioni nel tempo attraverso l’esperienza, invece di ricevere istruzioni pronte.

È una tecnologia potente, ma non magica, e conoscere i suoi limiti è tanto importante quanto ammirarne i successi.

Se questo viaggio tra le applicazioni ti ha incuriosito, il passo successivo è approfondire i concetti tecnici che le rendono possibili. Esplora le altre guide sull’apprendimento per rinforzo che trovi sul nostro sito, mettiti alla prova provando a riconoscere problemi della tua attività che hanno la forma di una sequenza di decisioni, e continua a seguirci per restare aggiornato su come l’intelligenza artificiale sta cambiando, un passo alla volta, il mondo intorno a te.