NVIDIA GR00T 2: il modello per robot che impara dai video degli esseri umani

NVIDIA ha presentato GR00T 2, un nuovo modello foundation per la robotica che prova a risolvere uno dei problemi più costosi del settore: insegnare a una macchina a svolgere compiti fisici senza dover raccogliere ogni volta migliaia di ore di teleoperazione. La risposta della società è guardare gli esseri umani, tanti, in prima persona, e imparare da loro.

Il lavoro è stato presentato alla Conference on Robot Learning di Austin e arriva insieme a un dataset pubblico da 100.000 ore di dati umani. Vediamo cosa è stato annunciato davvero, quali numeri sono stati dichiarati e dove conviene mantenere un po’ di prudenza.

Che cos’è GR00T 2 e come funziona

GR00T 2 è un transformer da 2 miliardi di parametri costruito sopra Cosmos-Predict2.5-2B, il modello di predizione del mondo della famiglia Cosmos di NVIDIA. Non è quindi un semplice modello che trasforma un comando in un’azione: ha una componente che anticipa come evolverà la scena.

Cosa riceve e cosa produce

Come input il modello riceve le viste recenti delle telecamere, lo stato del robot e un’istruzione scritta in linguaggio naturale. Come output genera due cose: le viste future che si aspetta di vedere e la sequenza di azioni successiva da eseguire.

Prevedere le immagini future prima di agire è un modo per dare al robot una sorta di immaginazione a breve termine del risultato dei propri movimenti.

Un solo checkpoint per corpi diversi

Un aspetto che merita attenzione è che un unico checkpoint pre-addestrato copre configurazioni molto diverse: bracci con pinza parallela, mani dexterous e persino un umanoide. In robotica ogni cambio di corpo costringe di solito a ripartire quasi da zero, quindi un modello che attraversa queste differenze è un passo concreto verso la generalità.

Se ti interessa il tema degli umanoidi, trovi un contesto utile nel nostro approfondimento sul robot umanoide di OpenAI, dove abbiamo raccontato cosa è stato confermato e cosa resta ancora da dimostrare.

I dati: video umani in prima persona

La vera novità sta nella ricetta di addestramento. Il pre-addestramento combina tre fonti molto diverse: circa 402.730 ore di video umani ripresi in prima persona, 10.184 ore di dimostrazioni raccolte con una pinza portatile su 2.897 compiti e 23.500 ore di teleoperazione robotica.

Il peso relativo è evidente. La teleoperazione, che è la fonte più cara e più lenta, è la porzione più piccola, mentre i video umani sono di gran lunga la parte più grande. È la scommessa dichiarata di NVIDIA: gli esseri umani generano già enormi quantità di dati sul modo in cui si manipolano gli oggetti, e un robot può trarne vantaggio.

La pinza portatile è un compromesso interessante. Permette a una persona di dimostrare un compito con uno strumento che somiglia al gripper di un robot, riducendo la distanza tra il gesto umano e quello della macchina.

Human-1M-100K, il dataset pubblicato

Insieme al modello NVIDIA ha rilasciato Human-1M-100K, un dataset con 100.000 ore di dati umani. Contiene video, annotazioni linguistiche e dati di movimento di testa e mani, ed è distribuito con licenza CC BY 4.0, che consente sia l’uso commerciale sia quello non commerciale, con attribuzione.

Questa parte, a differenza del codice, è già disponibile. Per ricercatori, startup e laboratori universitari è probabilmente la componente di maggior valore pratico dell’annuncio, perché costruire da soli un archivio di questa dimensione richiederebbe tempi e budget fuori portata per molti.

I risultati dichiarati e come leggerli

NVIDIA indica un successo zero-shot del 40% su 50 compiti assenti dai dati di addestramento del robot di destinazione. Significa che, senza vedere nulla di specifico su quei task, il sistema riesce a portarne a termine una parte consistente, anche se ancora ben lontana dall’affidabilità richiesta in una fabbrica.

Tra gli esempi citati ci sono il 65% per l’allestimento con carta da filtro e il 60% per l’assemblaggio di un camion giocattolo. Sul benchmark Dexter la media è del 71% con una sola dimostrazione per compito e del 95% con cinque.

Un dato da maneggiare con cura

Il whitepaper stesso precisa che i compiti del benchmark Dexter sono stati scelti tra quelli apprendibili con cinque episodi. Il 95% è quindi in parte un risultato costruito, e non va letto come la probabilità di successo su un compito qualsiasi che incontri nel mondo reale.

I numeri più impressionanti arrivano dall’uso di un agente di ragionamento con dati correttivi: 98, 97 e 97 assemblaggi riusciti su 100 prove, rispettivamente per aereo, trattore e Hot Wheels, contro 69, 51 e 23 con il solo fine-tuning supervisionato. Il salto è netto, soprattutto sull’ultimo compito, ma si parla di assemblaggi specifici in condizioni controllate.

In sintesi: i risultati sono promettenti, ma restano misure di laboratorio.

Quanto è davvero aperto e chi lo sta provando

NVIDIA presenta GR00T 2 come modello aperto, ma la pagina di ricerca indica che il codice arriverà a dicembre. Non è dichiarata in modo esplicito la disponibilità dei pesi del modello, e questo è un dettaglio che chi lavora con modelli open conosce bene: tra un paper, un codice e dei pesi scaricabili c’è una differenza sostanziale.

Sul fronte dell’adozione, Nexuni, Foxconn e Siemens stanno testando o valutando il modello. Non è stato annunciato alcun rilascio in produzione, e quindi per ora si tratta di sperimentazioni.

Per capire dove si colloca GR00T 2, può essere utile confrontarlo con Kyutai Reki, il modello robotico da 2,4 miliardi di parametri con memoria di cui ci siamo occupati poche settimane fa, che affronta lo stesso problema da un’altra direzione.

Perché conta per la robotica

Il collo di bottiglia della robotica generalista non è la potenza di calcolo, ma il dato. Un modello linguistico impara da testi che esistono già a miliardi, mentre un robot ha bisogno di dati di azione, e quelli sono scarsi e costosi. Se i video umani in prima persona riescono davvero a trasferire competenza a macchine con corpi diversi, il vincolo si allenta in modo significativo.

È una direzione che il settore sta esplorando da tempo. Lo abbiamo visto, per esempio, con Homebody di Stanford, un robot umanoide guidato da un modello linguistico, e con la quotazione di Agility Robotics, che mostra quanto anche i mercati finanziari guardino ormai agli umanoidi.

Per un professionista o un’azienda, la lezione pratica è questa: la robotica non va valutata sui video dimostrativi, ma su tre domande molto concrete. Quali compiti, con quale tasso di successo, e con quanti dati specifici servono per adattare il modello al tuo caso.

C’è poi una questione di metodo che riguarda tutto il settore. Quando un laboratorio pubblica percentuali di successo su compiti scelti da sé, il confronto con altri sistemi diventa difficile, e per questo contano le verifiche indipendenti. Un dataset aperto con licenza permissiva aiuta proprio in questo: permette a gruppi esterni di addestrare, confrontare e criticare approcci diversi sugli stessi dati, invece di fidarsi soltanto dei numeri dichiarati da chi ha costruito il modello.

Per chi sviluppa, vale la pena anche una riflessione sui costi. Se la quota di teleoperazione necessaria si riduce, scende la barriera d’ingresso per chi vuole addestrare un robot su un compito specifico, e la competizione si sposta dalla raccolta dei dati alla qualità dell’integrazione.

Cosa aspettarsi adesso

Nei prossimi mesi il passaggio chiave sarà l’arrivo del codice a dicembre. Solo allora la comunità potrà riprodurre i risultati, verificare quanto pesano i video umani rispetto alla teleoperazione e capire se il modello funziona fuori dai benchmark scelti dagli autori.

Un altro punto da monitorare è la scelta della licenza dei pesi, se e quando verranno rilasciati, perché da quella dipende l’uso commerciale reale da parte di startup e integratori.

Fino ad allora, GR00T 2 va considerato un segnale importante sulla direzione della ricerca più che un prodotto pronto all’uso. Se lavori con la robotica o con l’automazione, scarica il dataset, leggi il whitepaper sul sito di NVIDIA Research e segui gli aggiornamenti di dicembre. Se vuoi restare aggiornato su questi sviluppi, continua a seguirci: ne parleremo appena ci saranno novità verificabili.