Deep Reinforcement Learning: cos’è e come funziona l’apprendimento per rinforzo profondo

Immagina un programma che non riceve mai istruzioni esplicite su cosa fare, ma impara a comportarsi provando, sbagliando e correggendo la rotta migliaia di volte al secondo. È questa l’idea che sta al cuore del deep reinforcement learning, la disciplina che ha permesso a un’intelligenza artificiale di battere i campioni mondiali di Go, di far camminare robot simulati e di guidare quegli agenti autonomi di cui oggi si parla ovunque. Se ti sei imbattuto nell’espressione apprendimento per rinforzo profondo e vuoi capire davvero come funziona, senza formule indigeste ma anche senza semplificazioni fuorvianti, questa guida fa al caso tuo.

Nelle prossime sezioni vedrai da dove nasce questa tecnologia, come si combina l’apprendimento per rinforzo con le reti neurali, quali sono gli algoritmi principali, dove viene usata concretamente e quali limiti deve ancora superare. Partiamo dalle fondamenta.

Che cos’è il deep reinforcement learning

Il deep reinforcement learning nasce dall’unione di due mondi. Da una parte c’è l’apprendimento per rinforzo, un paradigma in cui un sistema impara a prendere decisioni interagendo con un ambiente e ricevendo ricompense o penalità in base al risultato delle sue azioni. Dall’altra ci sono le reti neurali profonde, capaci di riconoscere schemi complessi in grandi quantità di dati. Quando metti insieme questi due ingredienti ottieni un agente che non solo impara per tentativi ed errori, ma riesce anche a farlo partendo da input grezzi e complessi come le immagini di uno schermo.

La differenza rispetto ad altri approcci è netta. In un modello di apprendimento supervisionato mostri al sistema migliaia di esempi già etichettati e gli chiedi di imitarli. Qui invece nessuno dice all’agente qual è la risposta giusta. C’è solo un segnale numerico, la ricompensa, che gli comunica se sta andando nella direzione corretta oppure no.

È un modo di imparare molto più vicino a quello di un animale o di un bambino.

L’apprendimento per rinforzo classico in breve

Prima di aggiungere il termine profondo, conviene fissare i mattoni del reinforcement learning classico. Al centro c’è un agente, cioè il decisore che vogliamo addestrare. L’agente vive dentro un ambiente, che può essere un videogioco, una simulazione fisica, un mercato finanziario o il mondo reale visto attraverso i sensori di un robot.

A ogni passo l’agente osserva uno stato, ovvero una fotografia della situazione presente, e sceglie un’azione. L’ambiente reagisce, cambia stato e restituisce una ricompensa. Questo scambio continuo, osserva, agisci, ricevi un premio, si ripete migliaia o milioni di volte.

L’obiettivo dell’agente non è massimizzare la ricompensa immediata, ma la somma delle ricompense future. Questa distinzione è cruciale, perché spesso la mossa giusta nel breve periodo è quella sbagliata sul lungo. Un buon agente impara a rinunciare a un piccolo premio subito per ottenerne uno molto più grande dopo.

La strategia con cui l’agente sceglie le azioni si chiama politica. Imparare significa, in pratica, migliorare progressivamente questa politica.

Perché serve il deep: il ruolo delle reti neurali

Il reinforcement learning esiste da decenni, ma per molto tempo ha funzionato bene solo in problemi piccoli, dove gli stati possibili si potevano contare ed elencare in una tabella. Il mondo reale, però, è enorme. Quanti stati diversi può assumere lo schermo di un videogioco, pixel per pixel? Un numero talmente grande da rendere impensabile qualsiasi tabella.

Qui entrano in gioco le reti neurali. Invece di memorizzare il valore di ogni singolo stato, la rete impara una funzione capace di stimarlo anche per situazioni mai viste prima, generalizzando a partire dall’esperienza. È esattamente lo stesso principio del deep learning applicato al riconoscimento di immagini o al linguaggio, solo che il compito, stavolta, è valutare azioni e decisioni.

La parola profondo, quindi, si riferisce proprio a questo. La politica dell’agente e le sue stime di valore non vivono più in una tabella, ma dentro una rete neurale con molti strati. È questa combinazione ad aver sbloccato risultati che fino a pochi anni fa sembravano fantascienza.

Come funziona il ciclo agente-ambiente

Per capire il deep reinforcement learning nel concreto, conviene seguire il flusso di informazioni che scorre a ogni istante tra l’agente e l’ambiente. Tutto ruota attorno a un ciclo che si ripete senza sosta e che rappresenta il vero motore dell’apprendimento.

L’agente riceve l’osservazione dello stato corrente e la passa alla propria rete neurale. La rete elabora questo input e produce una decisione, che può essere la scelta diretta di un’azione oppure una stima di quanto sia conveniente ciascuna azione possibile. L’agente compie la mossa, l’ambiente evolve e restituisce due cose: il nuovo stato e la ricompensa associata alla transizione appena avvenuta.

A questo punto avviene la parte interessante. L’agente confronta ciò che si aspettava con ciò che è realmente accaduto. Se la ricompensa è stata migliore del previsto, rafforza le scelte che lo hanno portato fin lì. Se è stata peggiore, le indebolisce. Questa correzione avviene modificando i pesi della rete neurale, un piccolo aggiustamento alla volta.

Due concetti guidano questo processo. Il primo è la funzione di valore, che stima quanto sia promettente trovarsi in un certo stato considerando tutte le ricompense che presumibilmente arriveranno in futuro. Il secondo è la funzione di ricompensa, il segnale grezzo che l’ambiente fornisce a ogni passo e che definisce, di fatto, cosa consideriamo un buon comportamento.

Progettare bene questo segnale è una delle arti più delicate del mestiere. Una ricompensa mal calibrata può spingere l’agente a comportamenti assurdi ma tecnicamente premiati, un fenomeno noto come reward hacking.

Gli algoritmi principali del deep reinforcement learning

Non esiste un solo modo di fare deep reinforcement learning. Nel corso degli anni si sono affermate due grandi famiglie di algoritmi, con filosofie diverse ma spesso complementari. Vale la pena conoscerle, perché quasi tutto ciò che leggerai sull’argomento ricade in una di queste categorie o in una loro combinazione.

Deep Q-Network e i valori d’azione

La prima famiglia si basa sull’idea di stimare il valore di ogni azione. L’algoritmo capostipite è il Deep Q-Network, noto con la sigla DQN, presentato dai ricercatori di DeepMind nel 2015 sulle pagine della rivista Nature. La sua rete neurale riceve lo stato e restituisce, per ciascuna azione possibile, una stima della ricompensa cumulata attesa, il cosiddetto valore Q.

Scegliere diventa allora semplice: l’agente guarda i valori Q e, il più delle volte, seleziona l’azione con il numero più alto. L’apprendimento consiste nel rendere queste stime sempre più accurate, avvicinandole via via al valore reale osservato durante l’esperienza.

DQN ha introdotto anche due accorgimenti diventati poi classici. Il primo è l’experience replay, una memoria in cui l’agente conserva le esperienze passate per poi ripescarle e riutilizzarle durante l’addestramento, così da imparare in modo più stabile. Il secondo è l’uso di una rete bersaglio separata, che rende il processo meno instabile ed evita che l’obiettivo si muova troppo mentre la rete cerca di raggiungerlo.

Questo approccio funziona benissimo quando le azioni sono poche e distinte, come i pulsanti di un joystick.

I metodi policy gradient e actor-critic

La seconda famiglia affronta il problema da un’altra angolazione. Invece di stimare il valore di ciascuna azione e poi scegliere, questi metodi imparano direttamente la politica, cioè la funzione che a partire dallo stato produce l’azione o una distribuzione di probabilità sulle azioni. Si chiamano metodi a gradiente di politica, in inglese policy gradient.

Il vantaggio è evidente quando le azioni non sono poche caselle discrete ma quantità continue, come l’angolo di sterzata di un’auto o la coppia da applicare al motore di un braccio robotico. In questi casi elencare tutte le azioni sarebbe impossibile, mentre una politica che produce direttamente un valore continuo risolve il problema con eleganza.

Molti algoritmi moderni fondono le due idee in un’architettura chiamata actor-critic. Qui convivono due componenti: un attore, che decide quale azione compiere, e un critico, che valuta quanto è stata buona quella scelta. L’attore migliora seguendo i consigli del critico, e il critico affina i suoi giudizi osservando i risultati. Sigle molto diffuse come PPO, A3C o SAC appartengono a questa scuola.

È proprio la logica actor-critic ad alimentare buona parte dei successi più recenti, dalla robotica agli agenti che giocano in tempo reale.

Esplorazione contro sfruttamento: il dilemma centrale

C’è una tensione che percorre tutto il reinforcement learning e che merita un discorso a parte, perché è tanto semplice da enunciare quanto difficile da risolvere. Si tratta del compromesso tra esplorazione e sfruttamento.

Immagina di dover scegliere ogni sera il ristorante per cena. Puoi tornare in quello che già conosci e ti piace, sfruttando una certezza, oppure provarne uno nuovo, esplorando nella speranza di scoprire qualcosa di ancora migliore. Se sfrutti sempre, non scoprirai mai alternative superiori. Se esplori troppo, sprecherai serate in locali mediocri.

Un agente vive esattamente lo stesso dilemma a ogni passo. All’inizio dell’addestramento conviene esplorare molto, perché non conosce quasi nulla dell’ambiente. Con il tempo, man mano che accumula esperienza, ha senso spostare l’equilibrio verso lo sfruttamento delle strategie che si sono rivelate vincenti.

Una tecnica classica per gestire questo bilanciamento è la strategia epsilon-greedy, in cui l’agente sceglie quasi sempre l’azione migliore conosciuta ma, con una piccola probabilità, tenta una mossa casuale. Quel pizzico di casualità è ciò che gli impedisce di rimanere intrappolato in abitudini soltanto discrete quando, poco più in là, esisteva una soluzione eccellente.

I casi che hanno fatto la storia: da Atari ad AlphaGo

La teoria si apprezza meglio guardando i risultati che l’hanno resa celebre. Il deep reinforcement learning è uscito dai laboratori proprio grazie ad alcune dimostrazioni spettacolari.

La prima arriva nel 2013, quando DeepMind mostra un singolo agente capace di imparare a giocare a decine di vecchi videogiochi Atari partendo solo dai pixel dello schermo e dal punteggio. Nessuno spiega al sistema le regole di ciascun gioco. L’agente osserva l’immagine, muove il joystick e cerca di far salire il punteggio, e in molti titoli finisce per superare i giocatori umani.

Il colpo che cattura l’attenzione del mondo, però, arriva nel 2016 con AlphaGo, il programma che sconfigge il campione Lee Sedol nel gioco del Go con un risultato di quattro partite a una. Il Go era considerato una frontiera lontanissima per le macchine, per via del numero astronomico di configurazioni possibili sulla scacchiera.

L’anno successivo il progresso accelera ancora. AlphaGo Zero impara a giocare partendo da zero, senza osservare alcuna partita umana, semplicemente sfidando se stesso milioni di volte. Poco dopo AlphaZero generalizza lo stesso principio anche agli scacchi e allo shogi, raggiungendo in poche ore un livello sovrumano.

Il messaggio di quei traguardi è profondo. Un sistema può scoprire strategie che nessun essere umano aveva mai concepito, semplicemente giocando contro se stesso e imparando dalle proprie vittorie e sconfitte.

Dove si usa il deep reinforcement learning oggi

Al di là delle imprese sui giochi, questa tecnologia ha trovato applicazioni concrete in numerosi settori. Alcune sono già mature, altre sono ancora in fase di ricerca ma promettono molto.

Nella robotica il deep reinforcement learning permette di addestrare bracci meccanici ad afferrare oggetti di forma irregolare e robot con gambe a camminare su terreni sconnessi. Spesso l’addestramento avviene prima in simulazione, dove l’agente può cadere e ripartire milioni di volte senza danni, per poi trasferire l’abilità acquisita al robot fisico.

Nei sistemi di raccomandazione e nella pubblicità online questi algoritmi ottimizzano quali contenuti mostrarti per mantenere alto l’interesse nel tempo, ragionando sulla sequenza delle interazioni e non solo sul singolo clic. Nella gestione delle risorse trovano impiego per regolare consumi energetici, raffreddamento dei data center o traffico nelle reti.

Anche il mondo dei trasporti guarda con interesse a questi metodi. Nella ricerca sulla guida autonoma il reinforcement learning viene studiato per affinare decisioni come il cambio di corsia o la gestione degli incroci, spesso in combinazione con altre tecniche. Si tratta di scenari delicati, in cui la sicurezza impone estrema cautela e una fase di simulazione molto lunga prima di qualsiasi prova su strada.

C’è poi un ambito che ti riguarda da vicino ogni volta che usi un assistente conversazionale. L’addestramento dei grandi modelli linguistici sfrutta una variante di questo paradigma nota come apprendimento per rinforzo dal feedback umano. In pratica le preferenze espresse da valutatori umani vengono usate come segnale di ricompensa per rendere le risposte del modello più utili e allineate.

Ed è ancora il reinforcement learning a fornire l’impalcatura teorica agli agenti autonomi, i sistemi che pianificano ed eseguono sequenze di azioni per raggiungere un obiettivo. Non a caso gli agenti sono considerati uno dei temi centrali dell’intelligenza artificiale nel prossimo futuro.

Il legame con gli agenti autonomi

Se oggi senti parlare così spesso di agenti autonomi, cioè di sistemi capaci di pianificare ed eseguire compiti da soli, una parte della risposta affonda le radici proprio nel reinforcement learning. Un agente, nel senso tecnico del termine, è esattamente ciò che questa disciplina studia da sempre: un’entità che percepisce, decide e agisce per raggiungere un obiettivo.

La differenza rispetto al passato è la scala. Grazie alle reti neurali profonde e ai grandi modelli linguistici, gli agenti di nuova generazione riescono a operare in ambienti molto più ricchi e a coordinare strumenti diversi, dal navigare pagine web allo scrivere codice. Il segnale di ricompensa, però, resta la bussola concettuale che ne orienta il comportamento.

Capire il deep reinforcement learning, quindi, non è un esercizio puramente accademico. Ti aiuta a leggere con occhio critico buona parte delle promesse e degli annunci sull’intelligenza artificiale che affollano questi anni.

Limiti, sfide e problemi aperti

Sarebbe un errore raccontare solo i successi. Il deep reinforcement learning resta una delle branche più difficili dell’intelligenza artificiale, e conoscerne i limiti aiuta a valutarlo con lucidità.

Il primo problema è la fame di dati. Per imparare, un agente ha spesso bisogno di un numero enorme di tentativi, molti più di quelli che servirebbero a una persona. In simulazione questo non è un ostacolo insormontabile, perché il tempo virtuale scorre veloce, ma nel mondo reale, dove ogni tentativo costa tempo e usura, diventa un vincolo pesante.

Poi c’è la fragilità. Un agente addestrato in un certo contesto può comportarsi in modo imprevedibile se l’ambiente cambia anche di poco. Il passaggio dalla simulazione alla realtà, il cosiddetto divario sim-to-real, è un campo di ricerca a sé.

Restano infine le questioni legate alla progettazione della ricompensa e alla sicurezza. Definire un segnale che catturi davvero ciò che desideriamo è sorprendentemente difficile, e un obiettivo formulato male può produrre comportamenti dannosi o semplicemente inutili. Su questo tema si concentra buona parte della ricerca sull’allineamento e sull’affidabilità degli agenti.

Sono sfide aperte, non vicoli ciechi. Ma spiegano perché, nonostante i risultati clamorosi, il deep reinforcement learning richieda ancora competenza e cautela.

Come iniziare a studiare il deep reinforcement learning

Se vuoi passare dalla comprensione alla pratica, conviene procedere con ordine. La materia è affascinante ma poggia su alcune basi che è meglio non saltare.

Il primo mattone è una buona familiarità con il machine learning e con il funzionamento delle reti neurali, perché costituiscono il motore su cui tutto il resto si appoggia. Servono inoltre nozioni di probabilità e un minimo di dimestichezza con la programmazione, tipicamente in Python, il linguaggio più usato in questo campo.

Da lì puoi affrontare i concetti specifici del reinforcement learning nell’ordine in cui te li ho presentati: prima il ciclo agente-ambiente e le funzioni di valore, poi gli algoritmi basati sui valori come DQN, infine i metodi policy gradient e actor-critic. Un approccio molto efficace consiste nell’alternare studio teorico ed esperimenti pratici su ambienti di simulazione già pronti, dove puoi far girare i tuoi primi agenti e osservarli migliorare.

Non scoraggiarti se i risultati iniziali sembrano instabili. È del tutto normale in questo settore, e imparare a diagnosticare perché un agente non converge fa parte del percorso tanto quanto scrivere il codice.

Procedi per piccoli passi, esattamente come fa un agente che impara.

In sintesi

Il deep reinforcement learning è il punto di incontro tra due delle idee più potenti dell’intelligenza artificiale, l’apprendimento per tentativi ed errori e la capacità di generalizzazione delle reti neurali profonde. Da questa unione sono nati agenti capaci di battere i campioni di Go, di controllare robot e di contribuire all’addestramento dei modelli linguistici che usi ogni giorno.

Hai visto come funziona il ciclo agente-ambiente, quali sono le due grandi famiglie di algoritmi, perché il compromesso tra esplorazione e sfruttamento è così centrale e dove questa tecnologia trova applicazione, senza dimenticare i suoi limiti concreti. È una base solida per orientarti in un campo in rapidissima evoluzione.

Se questa guida ti ha incuriosito, continua ad approfondire con gli altri articoli del sito dedicati al machine learning e alle reti neurali, e prova a mettere le mani su un piccolo progetto pratico. È provando, sbagliando e correggendo che si impara davvero, proprio come fa un agente di reinforcement learning.