Apprendimento per imitazione (imitation learning): cos’è e come funziona

Un bambino impara ad allacciarsi le scarpe guardando un genitore che lo fa davanti a lui, non leggendo un manuale né ricevendo un punteggio a ogni tentativo. Osserva, ripete, sbaglia, corregge. Questa idea semplice, imparare guardando qualcuno che sa già come si fa, è alla base di una delle famiglie di tecniche più importanti dell’intelligenza artificiale moderna: l’apprendimento per imitazione, in inglese imitation learning. È la tecnica che permette a un braccio robotico di piegare un asciugamano dopo aver visto qualche decina di dimostrazioni, a un’auto a guida autonoma di copiare lo stile di un guidatore esperto e, in forma diversa, perfino a un modello linguistico di imparare il tono di un buon assistente.

In questa guida trovi tutto quello che serve per capire l’imitation learning: cos’è, in cosa si distingue dall’apprendimento per rinforzo, quali sono le tecniche principali, dove si usa, quali limiti ha e perché oggi è tornato al centro della ricerca grazie alla robotica e alla cosiddetta AI fisica.

Cos’è l’apprendimento per imitazione

L’apprendimento per imitazione è un insieme di metodi con cui un agente artificiale impara a comportarsi osservando le azioni di un esperto. L’esperto può essere una persona, un altro programma o un sistema già addestrato. Quello che conta è che l’agente riceva esempi di comportamento corretto, chiamati dimostrazioni, e da questi ricavi una regola di decisione da applicare anche in situazioni nuove.

Nel linguaggio tecnico questa regola si chiama politica, o policy: è la funzione che, data la situazione in cui l’agente si trova, stabilisce quale azione compiere. Una dimostrazione, quindi, è una sequenza di coppie formate da uno stato (ciò che l’agente percepisce, ad esempio l’immagine di una telecamera e la posizione delle articolazioni di un robot) e da un’azione (ciò che l’esperto ha fatto in quel momento, ad esempio muovere la pinza di pochi centimetri verso destra).

L’obiettivo è ottenere una politica che si comporti come l’esperto.

Detta così sembra una normale attività di apprendimento supervisionato, e in parte lo è. La differenza sta nel fatto che l’agente non fa una singola previsione isolata, come accade quando un modello classifica una foto, ma prende decisioni in sequenza. Ogni azione cambia lo stato successivo, e questo introduce problemi che nel machine learning classico non esistono. Ci torneremo più avanti, perché sono il cuore della disciplina.

Una definizione più precisa

Per inquadrare meglio il concetto conviene partire dal modello matematico che si usa per descrivere le decisioni sequenziali, il processo decisionale di Markov. Un agente si trova in uno stato, sceglie un’azione, passa a un nuovo stato e così via. Nell’apprendimento per rinforzo classico l’agente riceve anche una ricompensa numerica che gli dice quanto è stata buona l’azione. Nell’apprendimento per imitazione, invece, la ricompensa di solito non c’è, oppure è sconosciuta: al suo posto ci sono le dimostrazioni dell’esperto.

In altre parole, l’imitation learning risponde a questa domanda: se non so scrivere una funzione che misuri il successo, ma so mostrare come si fa, posso comunque insegnare un comportamento a una macchina? La risposta è sì, entro certi limiti.

Perché è un’idea così potente

In molti compiti del mondo reale descrivere l’obiettivo con una formula è difficilissimo. Pensa alla guida in città: dovresti premiare il fatto di arrivare a destinazione, ma anche il rispetto delle distanze, la fluidità della frenata, la cortesia verso i pedoni, la prudenza vicino alle scuole. Ogni fattore dovrebbe avere il suo peso, e basta sbagliare un peso perché l’agente trovi scorciatoie indesiderate. È il fenomeno noto come reward hacking, che abbiamo approfondito nella guida sulla funzione di ricompensa nel reinforcement learning.

Mostrare come si guida bene, invece, è relativamente facile: basta registrare migliaia di ore di guida di persone esperte. L’apprendimento per imitazione sfrutta proprio questa asimmetria. Spesso è più semplice dimostrare un comportamento che descriverlo.

Imitation learning e apprendimento per rinforzo: le differenze

L’apprendimento per imitazione viene spesso presentato come un parente stretto del reinforcement learning, e le due discipline condividono gran parte del vocabolario: stati, azioni, politiche, traiettorie. Se vuoi ripassare le basi, trovi una spiegazione completa nella nostra guida su cos’è l’apprendimento per rinforzo e come funziona. Le differenze, però, sono sostanziali e vale la pena metterle in fila.

La prima riguarda il segnale di apprendimento. Nel reinforcement learning l’agente impara per tentativi ed errori, guidato da una ricompensa. Nell’imitation learning impara da esempi di comportamento corretto. Il primo scopre da solo le strategie, il secondo copia quelle di qualcun altro.

La seconda differenza riguarda l’efficienza. Un agente di reinforcement learning, soprattutto all’inizio, compie azioni quasi casuali e può aver bisogno di milioni di tentativi prima di trovare una strategia decente. In un videogioco o in una simulazione questo è accettabile, ma con un robot vero diventa costoso, lento e talvolta pericoloso. Chi vorrebbe un braccio industriale che prova a caso mille modi di afferrare un bicchiere di cristallo? L’imitazione permette invece di partire subito da un comportamento ragionevole.

La terza differenza riguarda il limite superiore delle prestazioni. Un agente che si limita a imitare difficilmente supera il suo maestro, perché non ha modo di sapere che esistono strategie migliori di quelle che ha visto. Il reinforcement learning, al contrario, può scoprire soluzioni che nessun essere umano aveva mai considerato, come è accaduto nei giochi da tavolo.

Per questo le due famiglie non sono rivali, ma complementari.

Nella pratica moderna si usano spesso insieme: prima si addestra un agente per imitazione, così che parta da un comportamento sensato, poi lo si perfeziona con il reinforcement learning. È esattamente lo schema seguito da AlphaGo di DeepMind, che nella sua prima versione imparò inizialmente dalle partite di giocatori umani e poi migliorò giocando contro se stesso. Ed è, in forma diversa, anche lo schema con cui vengono addestrati molti assistenti conversazionali, come vedremo nella sezione dedicata ai modelli linguistici.

Come funziona: le tecniche principali

Sotto l’etichetta di apprendimento per imitazione convivono approcci molto diversi tra loro. Le tre famiglie più importanti sono la clonazione del comportamento, l’apprendimento interattivo con l’esperto e l’apprendimento per rinforzo inverso, a cui si aggiungono i metodi avversari. Vediamole una per una.

Behavioral cloning, la clonazione del comportamento

Il behavioral cloning è la forma più semplice e diretta di imitazione. Si raccolgono le dimostrazioni dell’esperto, si trasformano in un grande insieme di coppie stato e azione, e si addestra una rete neurale a prevedere l’azione dato lo stato. È apprendimento supervisionato puro: l’input è ciò che l’agente vede, l’etichetta è ciò che l’esperto ha fatto.

Uno degli esempi storici più citati è ALVINN, un sistema sviluppato alla Carnegie Mellon University alla fine degli anni Ottanta. Una piccola rete neurale riceveva l’immagine della strada da una telecamera e imparava a sterzare copiando le correzioni di un guidatore umano. Con la potenza di calcolo di allora il risultato era sorprendente e dimostrò che una macchina poteva imparare un comportamento complesso semplicemente guardando.

Il behavioral cloning ha pregi evidenti. È facile da implementare, sfrutta tutti gli strumenti del deep learning supervisionato e non richiede di interagire con l’ambiente durante l’addestramento: bastano i dati registrati. Per questo è il punto di partenza di quasi tutti i progetti di imitation learning.

Ha però un difetto profondo, che ha un nome preciso.

Il problema dello spostamento della distribuzione

Durante l’addestramento il modello vede soltanto gli stati visitati dall’esperto. L’esperto guida bene, quindi l’auto resta quasi sempre al centro della corsia. Quando però il modello guida da solo commette inevitabilmente piccoli errori, e ogni piccolo errore lo porta in uno stato leggermente diverso da quelli visti durante l’addestramento: un po’ più vicino al bordo, un po’ più storto. In quegli stati il modello è meno preciso, quindi sbaglia di più, e si allontana ancora di più dal territorio conosciuto.

Gli errori si accumulano e si amplificano a vicenda. Nella letteratura si parla di compounding errors, errori composti, e il fenomeno generale prende il nome di distribution shift, spostamento della distribuzione. È il motivo per cui un modello che ha un’accuratezza altissima sui dati di test può comunque finire fuori strada dopo pochi secondi di guida reale.

La soluzione intuitiva è mostrare al modello anche come si recupera da un errore.

Già ai tempi di ALVINN i ricercatori avevano capito il problema e generavano immagini sintetiche della strada vista da posizioni spostate, associandole alla correzione di sterzo corretta. Molti sistemi successivi hanno ripreso la stessa idea, ad esempio aggiungendo telecamere laterali che simulano un veicolo leggermente fuori traiettoria. Un altro trucco comune, nei progetti robotici, è iniettare rumore nelle azioni dell’esperto durante la raccolta dei dati, così che le dimostrazioni contengano anche piccole deviazioni e le relative correzioni.

DAgger e l’apprendimento interattivo

Una risposta più rigorosa al problema dello spostamento della distribuzione è arrivata nel 2011 con DAgger, acronimo di Dataset Aggregation, proposto da Stéphane Ross, Geoffrey Gordon e Drew Bagnell. L’idea è elegante: invece di addestrare il modello una sola volta sulle dimostrazioni iniziali, lo si lascia agire nell’ambiente, si registrano gli stati che visita davvero e si chiede all’esperto quale azione avrebbe compiuto in ciascuno di quegli stati. Le nuove coppie vengono aggiunte al dataset e il modello viene riaddestrato. Il ciclo si ripete più volte.

In questo modo il dataset finisce per coprire proprio gli stati in cui il modello tende a trovarsi, compresi quelli nati dai suoi errori, e il problema degli errori composti si riduce in modo significativo. Il prezzo da pagare è che serve un esperto disponibile a rispondere durante l’addestramento, cosa non sempre pratica. Etichettare a posteriori migliaia di stati con l’azione corretta è faticoso, e per un essere umano è difficile indicare la manovra giusta guardando un fotogramma senza avere il controllo del veicolo.

Per questo sono nate molte varianti che cercano di ridurre il carico sull’esperto, ad esempio chiedendo il suo intervento solo quando il modello è incerto oppure permettendo all’operatore di prendere il controllo solo quando vede che il robot sta per sbagliare. Quest’ultimo schema, in cui la persona interviene e le sue correzioni diventano nuovi dati, è molto diffuso nei laboratori di robotica.

Inverse reinforcement learning, capire l’obiettivo

Il behavioral cloning copia le azioni. L’apprendimento per rinforzo inverso, o inverse reinforcement learning, fa qualcosa di più ambizioso: cerca di capire perché l’esperto agisce in quel modo. Invece di imparare direttamente la politica, prova a ricostruire la funzione di ricompensa che l’esperto sembra ottimizzare. Una volta stimata la ricompensa, si usa il reinforcement learning classico per trovare la politica migliore rispetto a quell’obiettivo.

Il problema fu formalizzato all’inizio degli anni Duemila, tra gli altri da Andrew Ng e Stuart Russell, e poi sviluppato in molte direzioni, come l’apprendimento per apprendistato di Pieter Abbeel e dello stesso Ng e il metodo basato sulla massima entropia proposto da Brian Ziebart e colleghi. Uno dei risultati più noti di questa linea di ricerca fu l’elicottero radiocomandato di Stanford, capace di eseguire manovre acrobatiche dopo aver osservato un pilota esperto.

Il vantaggio dell’approccio inverso è la generalizzazione. Un obiettivo si trasferisce meglio di una sequenza di gesti: se il robot capisce che lo scopo è mettere la tazza sul piatto, può riuscirci anche quando la tazza si trova in una posizione mai vista. Lo svantaggio è il costo computazionale, perché ogni volta che si aggiorna la stima della ricompensa bisogna risolvere di nuovo un problema di reinforcement learning. C’è poi un problema di ambiguità: molti obiettivi diversi possono spiegare lo stesso comportamento, e scegliere quello giusto richiede ipotesi aggiuntive.

GAIL e i metodi avversari

Nel 2016 Jonathan Ho e Stefano Ermon proposero GAIL, Generative Adversarial Imitation Learning, che prende in prestito l’idea delle reti generative avversarie. Una rete, il discriminatore, impara a distinguere le traiettorie dell’esperto da quelle dell’agente. L’agente, a sua volta, viene addestrato con il reinforcement learning a ingannare il discriminatore, cioè a produrre traiettorie indistinguibili da quelle dell’esperto.

In questo schema la ricompensa non va stimata esplicitamente: è il discriminatore stesso a fornirla. GAIL si è rivelato molto efficace con poche dimostrazioni e ha dato origine a una lunga serie di varianti. Richiede però di interagire con l’ambiente, quindi è più adatto alle simulazioni che ai robot reali.

Le politiche generative moderne

Negli ultimi anni il behavioral cloning è tornato di gran moda grazie a modelli molto più espressivi. Un limite storico della clonazione era la difficoltà a gestire dimostrazioni multimodali: se metà degli esperti aggira un ostacolo a destra e metà a sinistra, un modello semplice tende a fare la media e ad andare dritto contro l’ostacolo. Le nuove architetture risolvono questo problema imparando l’intera distribuzione delle azioni possibili, non solo la loro media.

Due esempi molto influenti sono Diffusion Policy, che applica ai movimenti robotici la stessa tecnica di diffusione usata per generare immagini, e ACT, Action Chunking with Transformers, presentato insieme al sistema a basso costo ALOHA per la manipolazione a due braccia. ACT introduce anche un’idea semplice ma efficace: invece di prevedere un’azione alla volta, il modello prevede un blocco di azioni future, riducendo il numero di decisioni e quindi le occasioni per accumulare errori.

Il risultato è che oggi bastano spesso poche decine di dimostrazioni per insegnare a un robot compiti delicati, come infilare una batteria o aprire un barattolo.

Come si raccolgono le dimostrazioni

In qualsiasi progetto di imitation learning la qualità dei dati conta quanto la scelta dell’algoritmo, forse di più. Una dimostrazione scadente produce un comportamento scadente, e un dataset poco vario produce un agente fragile. Esistono diversi modi per raccogliere le dimostrazioni, ciascuno con i suoi compromessi.

Teleoperazione

Nella teleoperazione una persona controlla il robot a distanza con un joystick, un visore di realtà virtuale, un guanto sensorizzato o un secondo braccio robotico che fa da leader: l’operatore muove il braccio leader e il braccio follower ne replica i movimenti. Il grande vantaggio è che i dati vengono registrati direttamente con i sensori e gli attuatori del robot che dovrà imparare, quindi non c’è alcuna traduzione da fare tra il corpo dell’esperto e quello della macchina. Lo svantaggio è che la teleoperazione è lenta e richiede operatori addestrati.

Insegnamento cinestetico

Nell’insegnamento cinestetico l’operatore prende fisicamente in mano il braccio robotico e lo guida lungo il movimento desiderato, mentre il sistema registra la traiettoria. È un metodo diffuso con i robot collaborativi industriali, progettati per lavorare accanto alle persone in sicurezza. È intuitivo e non richiede programmazione, ma funziona bene soprattutto per movimenti relativamente semplici.

Video di esseri umani

La frontiera più ambiziosa è imparare direttamente dai video di persone che svolgono un compito, senza alcun robot coinvolto nella raccolta. Il web contiene una quantità enorme di video di questo tipo, dalla cucina al bricolage, e sfruttarli significherebbe superare il principale collo di bottiglia della robotica: la scarsità di dati. La difficoltà è che una mano umana e una pinza robotica sono molto diverse, e dal video mancano informazioni fondamentali come la forza applicata. Molti gruppi di ricerca stanno lavorando proprio a questo problema, spesso chiamato trasferimento tra incarnazioni diverse, o cross-embodiment.

Chi riuscirà a imparare in modo affidabile dai video avrà un vantaggio enorme.

Simulazione

Infine, le dimostrazioni possono essere generate in simulazione, da un esperto che è a sua volta un programma: un pianificatore di movimento, un controllore scritto a mano o un agente addestrato con il reinforcement learning che ha accesso a informazioni privilegiate, come la posizione esatta degli oggetti. Uno studente che vede solo le immagini delle telecamere impara poi a imitarlo. Questa tecnica, chiamata distillazione da insegnante a studente, è molto usata per la locomozione dei robot con le zampe e degli umanoidi.

Dove si usa l’apprendimento per imitazione

L’imitation learning non è una curiosità da laboratorio. È una tecnica impiegata in settori molto diversi, spesso in combinazione con altri metodi. Ecco i principali ambiti di applicazione.

Robotica e AI fisica

La robotica è di gran lunga il campo in cui l’apprendimento per imitazione conta di più. I robot industriali tradizionali vengono programmati riga per riga, con traiettorie precise che funzionano solo in ambienti rigidamente controllati. L’imitazione promette robot che si possono istruire mostrando il lavoro, come si farebbe con un nuovo collega, e che reagiscono meglio a piccole variazioni dell’ambiente.

Negli ultimi anni questa promessa si è intrecciata con quella dei modelli fondazionali. I cosiddetti modelli visione, linguaggio e azione, in inglese vision-language-action o VLA, partono da un grande modello che comprende immagini e testo e lo addestrano, in larga parte per imitazione, su grandi raccolte di dimostrazioni robotiche. Esempi noti sono RT-2 di Google DeepMind e il progetto open source OpenVLA. Il robot riceve un’istruzione in linguaggio naturale, ad esempio metti la mela nel cestino, e produce direttamente i comandi motori.

Anche i robot umanoidi di cui si parla sempre più spesso nelle cronache si affidano in buona parte a dimostrazioni raccolte in teleoperazione. Ne abbiamo parlato, per esempio, nell’articolo dedicato al robot umanoide domestico 1X Neo. È un punto da tenere a mente quando guardi i video promozionali: dietro molti gesti fluidi c’è un grande lavoro umano di raccolta dati.

Guida autonoma

La guida è stata uno dei primi banchi di prova dell’imitation learning, come abbiamo visto con ALVINN, e resta un ambito centrale. Le aziende del settore dispongono di enormi archivi di guida umana e li usano per addestrare componenti del sistema, ad esempio per prevedere le traiettorie degli altri veicoli o per rendere lo stile di guida più naturale. Negli approcci detti end-to-end, in cui una sola rete passa dai sensori ai comandi, la clonazione del comportamento su dati di guida umana ha un ruolo di primo piano.

Proprio qui, però, i limiti dell’imitazione si fanno sentire di più. Gli scenari rari e pericolosi sono per definizione poco presenti nei dati, e un sistema che si limita a copiare fatica a gestire ciò che non ha mai visto. Per questo l’imitazione viene sempre affiancata da simulazione, regole di sicurezza e verifiche indipendenti.

Videogiochi e agenti virtuali

Nei videogiochi l’apprendimento per imitazione serve a creare personaggi non giocanti che si comportano in modo più umano, a fornire un punto di partenza agli agenti di reinforcement learning e a costruire bot capaci di giocare a titoli complessi. Un esempio noto è AlphaStar di DeepMind per StarCraft II, che partiva dall’imitazione di partite di giocatori umani prima di essere perfezionato con il reinforcement learning. Un altro è il lavoro di OpenAI su Minecraft, in cui un agente ha imparato a giocare osservando video presi dal web, dopo che un modello separato aveva ricostruito le azioni compiute dai giocatori.

Modelli linguistici e assistenti AI

Forse non te lo aspetti, ma l’apprendimento per imitazione ha un ruolo anche nell’addestramento dei chatbot. Dopo la fase di pre-addestramento su enormi quantità di testo, molti modelli linguistici passano per una fase di fine-tuning supervisionato, in cui vengono addestrati su esempi di conversazioni scritte da persone che mostrano come dovrebbe rispondere un buon assistente. Concettualmente è una forma di behavioral cloning: il modello impara a imitare le risposte dimostrate.

Anche qui l’imitazione ha i suoi limiti, e il modello tende a riprodurre sia i pregi sia i difetti degli esempi. Per questo alla fase di imitazione segue spesso una fase basata sulle preferenze e sul reinforcement learning, che permette di andare oltre le singole dimostrazioni. Lo schema, ancora una volta, è lo stesso: prima imitare, poi migliorare.

Altri ambiti

L’imitazione trova applicazione anche nella chirurgia assistita da robot, dove si studia come trasferire la destrezza dei chirurghi esperti a sistemi semi-autonomi, nella logistica, per la manipolazione di pacchi di forme diverse, e negli agenti software che usano il computer al posto nostro, addestrati anche su registrazioni di persone che navigano siti web e compilano moduli.

Limiti e sfide aperte

Nonostante i progressi, l’apprendimento per imitazione ha limiti importanti. Conoscerli ti aiuta a valutare con senso critico gli annunci e le dimostrazioni che circolano online.

La dipendenza dalla qualità dell’esperto

Un agente che imita eredita le abitudini del suo maestro, comprese quelle cattive. Se le dimostrazioni sono incoerenti, perché raccolte da operatori con stili diversi, o contengono errori, il modello li apprenderà. E, come abbiamo visto, raramente farà meglio dell’esperto. Per questo i team più avanzati investono molto in protocolli di raccolta, formazione degli operatori e selezione dei dati.

Il costo dei dati

Raccogliere dimostrazioni robotiche di buona qualità è costoso. Ogni episodio richiede un operatore, un robot, un ambiente preparato e tempo. A differenza dei modelli linguistici, che possono attingere a miliardi di pagine web, la robotica non ha un equivalente di internet da cui scaricare dati già pronti. È questo il motivo per cui la ricerca punta così tanto sui video umani, sulla simulazione e sulla condivisione di dataset tra laboratori, come nel progetto collaborativo Open X-Embodiment.

Il dato, in robotica, resta la risorsa più scarsa.

Generalizzazione e robustezza

Un modello addestrato a prendere una tazza rossa su un tavolo bianco può fallire con una tazza blu su un tavolo di legno. La capacità di generalizzare a oggetti, luci, posizioni e ambienti nuovi è ancora limitata, anche se i modelli fondazionali stanno migliorando rapidamente su questo fronte. Allo stesso modo, i modelli imitativi possono essere sensibili a piccoli disturbi e comportarsi in modo imprevedibile quando qualcosa va storto.

Sicurezza e responsabilità

Quando un sistema impara per imitazione, il suo comportamento non è scritto in regole esplicite che si possono leggere e verificare. Questo rende più difficile garantire che non compia azioni pericolose in situazioni impreviste. Nei contesti ad alto rischio, dalla guida all’assistenza sanitaria, l’imitazione va quindi sempre affiancata da vincoli di sicurezza, test estesi e supervisione umana.

Come iniziare a sperimentare

Se vuoi toccare con mano l’apprendimento per imitazione non ti serve un laboratorio. Il percorso più semplice parte dalla simulazione, e richiede solo un po’ di familiarità con Python e con le basi del deep learning.

Il primo passo è scegliere un ambiente. La libreria Gymnasium, erede del vecchio OpenAI Gym, offre molti ambienti di controllo classici, dal pendolo inverso ai piccoli robot simulati. Il secondo passo è procurarti un esperto: puoi addestrare un agente con il reinforcement learning usando una libreria come Stable-Baselines3 e trattarlo come maestro. Il terzo passo è registrare le sue traiettorie e addestrare una piccola rete neurale per behavioral cloning.

A quel punto l’esperimento più istruttivo è confrontare lo studente con il maestro, magari riducendo il numero di dimostrazioni. Vedrai con i tuoi occhi lo spostamento della distribuzione: lo studente se la cava bene all’inizio dell’episodio e poi, man mano che si accumulano piccoli errori, peggiora. Prova allora a implementare una versione semplice di DAgger, interrogando l’esperto sugli stati visitati dallo studente, e osserva la differenza.

Se vuoi andare oltre, la libreria open source imitation, costruita sopra Stable-Baselines3, include implementazioni pronte di behavioral cloning, DAgger, GAIL e di altri algoritmi. Per la robotica reale, invece, il progetto LeRobot di Hugging Face mette a disposizione modelli, dataset e strumenti per addestrare politiche come ACT e Diffusion Policy anche su bracci robotici economici.

Per approfondire l’integrazione tra reti neurali e decisioni sequenziali ti consiglio anche la nostra guida al deep reinforcement learning, che ti aiuta a capire la seconda metà del percorso, quella in cui l’agente smette di imitare e inizia a migliorare da solo.

Il futuro dell’apprendimento per imitazione

Per molto tempo l’imitation learning è stato considerato il fratello minore del reinforcement learning, utile ma limitato. Oggi la situazione è cambiata. La combinazione tra grandi modelli pre-addestrati, architetture generative capaci di rappresentare comportamenti complessi e hardware robotico sempre più economico ha reso l’imitazione uno dei pilastri della cosiddetta AI fisica, cioè dell’intelligenza artificiale che agisce nel mondo reale.

Le direzioni di ricerca più promettenti sono chiare. La prima è imparare da fonti di dati più abbondanti, a partire dai video umani, per superare il collo di bottiglia della teleoperazione. La seconda è costruire modelli generalisti, addestrati su molti robot e molti compiti diversi, capaci di adattarsi a situazioni nuove con poche dimostrazioni aggiuntive. La terza è combinare in modo sempre più stretto imitazione e reinforcement learning, così da unire la rapidità della prima con la capacità di miglioramento del secondo.

Resta aperta una domanda di fondo: basterà imitare su larga scala per ottenere robot davvero versatili, oppure servirà qualcosa di più, come una comprensione esplicita del mondo fisico? La comunità scientifica è divisa, e le risposte arriveranno probabilmente dagli esperimenti dei prossimi anni.

Conclusioni

L’apprendimento per imitazione parte da un’intuizione antica quanto l’essere umano: il modo più rapido per imparare qualcosa è guardare chi lo sa già fare. Tradotta in algoritmi, questa intuizione ha dato vita a tecniche come il behavioral cloning, DAgger, l’inverse reinforcement learning e GAIL, fino alle politiche generative e ai modelli visione, linguaggio e azione che stanno cambiando la robotica.

Hai visto i suoi punti di forza, la rapidità e la capacità di trasmettere comportamenti difficili da descrivere, e i suoi limiti, dallo spostamento della distribuzione alla dipendenza dalla qualità dei dati. Soprattutto, hai visto che imitazione e rinforzo lavorano meglio insieme che separati.

Se questo tema ti appassiona, continua a esplorare la sezione dedicata all’apprendimento rinforzato di intelligenzaartificiale.net, prova a replicare l’esperimento con Gymnasium descritto sopra e raccontaci nei commenti come è andata. Imparare guardando funziona anche per te.