NVIDIA Groq 3 LPX entra in piena produzione: il chip che accelera l’inferenza degli agenti AI

NVIDIA ha annunciato che Groq 3 LPX, il suo acceleratore pensato per l’inferenza interattiva, è entrato in piena produzione. L’annuncio è arrivato dal palco di Hot Chips, la conferenza di riferimento per chi progetta processori, e segna un passo concreto nella corsa a rendere gli agenti AI più rapidi e reattivi. Non parliamo di un nuovo modello linguistico, ma dell’hardware che decide quanto in fretta quei modelli riescono a rispondere.

Il chip estende la piattaforma Vera Rubin e concentra tutto su una sola metrica: la velocità con cui vengono generati i token, cioè le piccole unità di testo che un modello produce mentre ragiona e scrive. Per un assistente che deve completare decine di passaggi in autonomia, quella velocità è la differenza tra un’attesa frustrante e una risposta che sembra istantanea.

C’è un dettaglio che racconta bene il momento: il nome stesso del prodotto.

Cos’è Groq 3 LPX e perché porta il nome di Groq

Groq 3 LPX è quello che NVIDIA definisce un acceleratore per l’inferenza interattiva. In pratica è un componente specializzato che si affianca ai sistemi Vera Rubin NVL72 e ne potenzia una fase precisa del lavoro: la generazione dei token, il momento in cui il modello, dopo aver letto la richiesta, inizia a produrre la risposta parola dopo parola.

Il marchio Groq non è casuale. Nella nota ufficiale NVIDIA precisa che i nomi Groq e LPU sono usati su licenza di Groq, Inc., l’azienda che ha reso popolare l’idea di un chip costruito attorno alla velocità di generazione. NVIDIA ha integrato quella impostazione dentro la propria piattaforma, con un acceleratore che lavora in coppia con le GPU tradizionali invece di sostituirle.

La distinzione tecnica conta. L’inferenza di un modello ha due fasi: la prima digerisce il contesto, cioè tutto il testo che gli fornisci, la seconda genera la risposta. Groq 3 LPX nasce per spingere al massimo la seconda, quella che percepisci come reattività.

Più veloce è questa fase, più margine ha un agente per ispezionare file, scrivere e testare codice, chiamare strumenti esterni, verificare i risultati e correggersi, senza far perdere la pazienza a chi sta dall’altra parte dello schermo.

I numeri dell’annuncio: 3.400 token al secondo

NVIDIA sostiene di aver stabilito un primato. Nei test condotti da Artificial Analysis, una società indipendente che misura le prestazioni dei modelli, Groq 3 LPX ha raggiunto 3.400 token in uscita al secondo eseguendo Gemma 4 31B, un modello agentico open source, con una finestra di contesto da 100.000 token. Secondo l’azienda è la velocità più alta mai registrata per quel modello.

Il secondo dato riguarda il confronto con la concorrenza: NVIDIA parla di una reattività fino a quattro volte superiore rispetto alla piattaforma alternativa più vicina, per gli agenti e per i carichi di lavoro sensibili alla latenza. Tradotto in pratica, l’azienda cita compiti come la scrittura di codice che passano dall’ordine delle ore a quello dei minuti.

Vale però la pena di ricordare un punto. Si tratta di numeri forniti dal produttore, per quanto appoggiati a un benchmark di terze parti. Come sempre con gli annunci hardware, la prova del nove arriverà quando sviluppatori e aziende metteranno il chip al lavoro su carichi reali e variegati, non solo su un singolo modello di riferimento.

Perché la velocità di generazione conta per gli agenti

Per capire l’importanza di Groq 3 LPX bisogna guardare a come funzionano gli agenti AI, i sistemi che non si limitano a rispondere a una domanda ma portano a termine compiti articolati in molti passaggi.

Un agente può generare enormi quantità di token attraverso centinaia o migliaia di passaggi di inferenza. Ogni volta che riflette, chiama uno strumento, legge un risultato e decide la mossa successiva, produce testo. Se ogni singolo passaggio è lento, la somma dei ritardi rende l’intero processo inutilizzabile.

È qui che la generazione rapida cambia le regole. Non serve solo a farti leggere prima la risposta, ma dà all’agente il tempo di fare più cose nello stesso intervallo: controllare, correggere, iterare.

Pensa alla differenza tra un collega che ti risponde subito e uno che impiega un minuto a ogni scambio. Nel secondo caso, anche se le risposte sono ottime, finisci per evitarlo. Con gli agenti software vale lo stesso principio, moltiplicato per migliaia di operazioni al minuto.

Non è un caso che l’inferenza veloce sia diventata uno dei terreni di scontro più caldi del settore. Lo abbiamo raccontato parlando di come l’inferenza veloce sia ormai il nuovo campo di battaglia dell’AI, con startup che raccolgono miliardi proprio per servire risposte in tempi minimi.

La logica di fondo è semplice: i modelli migliorano di continuo, ma se costano troppo o rispondono troppo lentamente restano difficili da usare su larga scala. Chi risolve il problema della velocità conquista un vantaggio competitivo enorme.

Nebius primo cliente, poi Groq: la corsa dei cloud AI

Un chip, per contare davvero, ha bisogno di clienti che lo mettano in produzione. Il primo a farlo sarà Nebius, un cloud AI che porterà Groq 3 LPX dentro la sua Token Factory, la piattaforma con cui offre l’inferenza agli sviluppatori.

Il punto interessante, sottolineato dall’azienda, è che l’adozione avviene tramite la stessa API che gli sviluppatori usano già, senza migrazioni verso un nuovo stack. Danila Shtan, direttore tecnico di Nebius, ha spiegato che l’obiettivo è far percepire ogni passaggio di un agente come immediato.

Dopo Nebius, NVIDIA indica anche Groq, il cloud specializzato nell’inferenza, tra i primi ad adottare la piattaforma. Un dettaglio quasi ironico, visto che il marchio del chip nasce proprio da quella realtà.

Questo modello di distribuzione dice molto su come si muove il mercato oggi. I grandi fornitori di infrastruttura sono diventati il canale attraverso cui l’hardware più avanzato raggiunge imprese e sviluppatori, senza che questi debbano comprare e gestire i data center in proprio.

Vera Rubin e la strategia di sistema di NVIDIA

Groq 3 LPX non vive da solo. Fa parte di un disegno più ampio che NVIDIA chiama codesign estremo: sette chip diversi e cinque tipi di rack progettati insieme per formare quella che l’azienda descrive come la sua piattaforma più completa per le fabbriche di AI.

Accanto ai sistemi Vera Rubin NVL72 trovano posto le DPU BlueField-4, i rack con le CPU Vera, lo storage dedicato e la rete Ethernet Spectrum-6, pensati per far dialogare migliaia di acceleratori con la minor latenza possibile.

Jensen Huang, fondatore e amministratore delegato di NVIDIA, ha definito l’inferenza “il motore di crescita dell’AI”. È il segnale di quanto l’azienda punti su questa fase e non solo sull’addestramento dei modelli.

La mossa si inserisce in un contesto in cui tutti i grandi nomi stanno costruendo silicio su misura. Abbiamo visto Anthropic avviare un proprio team per progettare chip dedicati a Claude e, più in generale, una lunga fila di aziende decise a ridurre la dipendenza da un singolo fornitore.

La concorrenza, del resto, non sta ferma. Tra le startup c’è chi punta su architetture radicali, come la scommessa di Etched sui chip dedicati esclusivamente all’inferenza, mentre tra i colossi si muove chi prova ad attaccare NVIDIA partendo dal software, come nel caso di Qualcomm che sfida Nvidia sullo strato software.

In mezzo a questa pressione, la risposta di NVIDIA è coerente con la sua storia. Non un singolo prodotto, ma un intero sistema integrato, difficile da replicare pezzo per pezzo.

Cosa aspettarsi ora

L’ingresso in piena produzione di Groq 3 LPX segnala che il baricentro dell’AI si sta spostando in modo sempre più netto dall’addestramento all’inferenza, cioè dalla creazione dei modelli al loro utilizzo quotidiano su miliardi di richieste.

È una transizione naturale. Dopo anni passati a costruire modelli sempre più grandi, il problema pratico è farli funzionare in fretta, a costi sostenibili, per un numero enorme di utenti e di agenti che lavorano in parallelo.

Per chi sviluppa applicazioni la promessa è concreta: agenti più reattivi, tempi di attesa ridotti e la possibilità di costruire flussi di lavoro complessi senza che la lentezza li renda impraticabili. Resta da vedere quanto i numeri da laboratorio reggeranno nell’uso reale e quanto peseranno i costi.

Se ti interessa capire dove sta andando l’hardware dell’intelligenza artificiale, questa è una delle storie da seguire con più attenzione nei prossimi mesi. Continua a leggere gli approfondimenti del sito per non perdere i prossimi sviluppi, e prova a chiederti quali applicazioni, oggi troppo lente per essere davvero utili, potrebbero diventare finalmente pratiche quando la generazione dei token smetterà di essere un collo di bottiglia.