Amazon TorchNeuron: PyTorch sui chip Trainium per sfidare il vantaggio software di Nvidia

Amazon ha aperto a tutti gli sviluppatori la beta pubblica di TorchNeuron, lo strato software che permette di far girare il codice PyTorch sui chip Trainium senza riscriverlo. Dopo una beta privata iniziata a fine 2025, il lancio del 19 ottobre 2026 è arrivato a ridosso della PyTorch Conference di San Jose, dove l’azienda ha annunciato anche il rilascio come software open source. Non è un dettaglio tecnico per addetti ai lavori: è un attacco diretto al vantaggio che Nvidia difende da anni, quello del software.

Che cos’è TorchNeuron e come funziona

TorchNeuron è uno strato che si colloca tra PyTorch, il framework open source più usato per costruire e addestrare modelli di intelligenza artificiale, e Trainium, la famiglia di chip che Amazon progetta in casa. Lo ha sviluppato Annapurna Labs, la divisione di Amazon che disegna i processori. Fino a oggi, chi voleva usare Trainium doveva modificare il proprio codice per chiamare interfacce di programmazione specifiche di Amazon. Con TorchNeuron, secondo quanto riportato da GeekWire, lo stesso codice gira dopo una semplice modifica di configurazione.

La frase scelta da Colin Brace, vicepresidente della tecnologia software di Annapurna Labs, sintetizza bene l’obiettivo: se conosci PyTorch, conosci già Trainium. È una promessa di continuità, pensata per togliere all’adozione di un nuovo chip il costo più pesante, cioè la riscrittura del software.

Cosa c’è dietro la compatibilità

La documentazione tecnica di AWS descrive TorchNeuron come un backend nativo di PyTorch per Trainium e cita tra i temi trattati la modalità eager, l’esecuzione eager adattiva, torch.compile, l’addestramento distribuito, l’integrazione con i kernel NKI e il supporto ai modelli Mixture of Experts. Quali generazioni di Trainium siano coperte non emerge con chiarezza dalle fonti consultate, quindi conviene verificare la matrice di compatibilità prima di pianificare un progetto.

Amazon sostiene inoltre di testare TorchNeuron ogni notte su oltre 100.000 modelli di Hugging Face. Se il dato regge alla prova dell’uso reale, significa che gran parte di ciò che gli sviluppatori scaricano e adattano ogni giorno dovrebbe poter girare senza sorprese.

Perché il software conta più del silicio

Per capire la portata della mossa bisogna ricordare perché Nvidia domina il mercato dei chip per l’AI. Non è solo questione di prestazioni dell’hardware. Gran parte del software dell’industria è stato costruito attorno a CUDA, la piattaforma di programmazione dell’azienda, e adattare quel codice ad altro hardware può richiedere mesi di lavoro ingegneristico. Un team che ha già un sistema funzionante su GPU Nvidia ha poca convenienza a rimettere mano a tutto per risparmiare qualche punto percentuale sul costo del calcolo.

È il cosiddetto fossato di CUDA. Ogni concorrente di Nvidia, da Amazon a Google fino a Microsoft, sa che per scalfirlo non basta un chip più economico: serve rendere il passaggio quasi indolore.

TorchNeuron prova a farlo puntando sul livello che gli sviluppatori usano davvero. Se la maggior parte dei team scrive già in PyTorch, il costo di migrazione si riduce molto, e il confronto torna a essere quello che interessa ai responsabili dei budget: quanto lavoro si ottiene per ogni dollaro speso.

I primi numeri e i primi clienti

Durante la beta privata hanno usato lo strumento più di 30 aziende e team interni ad Amazon. Il caso più concreto citato è quello di Deepgram, startup che lavora sull’AI vocale: secondo quanto dichiarato, Trainium ha elaborato circa il 60% di audio in più per dollaro rispetto alla precedente infrastruttura basata su GPU, e oggi l’azienda lo usa in produzione. Si tratta di un risultato dichiarato dalla stessa società e relativo al suo carico di lavoro, quindi non va generalizzato.

Un secondo esempio arriva dall’interno: il team di Prime Video lo ha usato per costruire Prime 360, un sistema di AI che crea replay 3D delle partite NBA, che comparirà in alcune trasmissioni di questa stagione. Sono casi diversi, uno nel parlato e uno nel video, e mostrano che l’ambizione è coprire carichi di lavoro vari.

Trainium non è più un chip di nicchia

Il contesto aiuta a capire perché Amazon investa così tanto nel software. Secondo la stessa ricostruzione, Anthropic usa Trainium per addestrare e far girare i modelli Claude, mentre OpenAI ha concordato a febbraio di usare 2 gigawatt di capacità Trainium. Quando due dei laboratori più importanti del settore dipendono da un chip, rendere quel chip accessibile anche a tutti gli altri diventa il passo logico. Se vuoi approfondire la famiglia di modelli che gira su quell’infrastruttura, trovi un quadro d’insieme nella nostra guida a Claude.

Il quadro della corsa ai chip

La mossa di Amazon non arriva da sola. Le grandi piattaforme cloud stanno costruendo in parallelo il proprio silicio per ridurre la dipendenza da Nvidia. Poche settimane fa abbiamo raccontato Microsoft Maia 300, il chip pensato per l’inferenza su Azure, che risponde alla stessa logica: controllare più strati possibile della filiera, dal processore al servizio finale.

Sul fronte opposto ci sono le dimensioni dell’infrastruttura che questi chip devono alimentare. Il progetto descritto in Meta Prometheus, il supercluster in Ohio dà l’idea della scala a cui si ragiona oggi, con investimenti misurati in gigawatt. In un mercato così grande, anche una piccola quota sottratta a Nvidia vale miliardi, ed è per questo che il software di compatibilità è diventato un terreno di battaglia.

I limiti da tenere presenti

Conviene mantenere i piedi per terra. Una beta pubblica resta una beta: significa che possono esserci operatori non ancora supportati, prestazioni irregolari su certi modelli e documentazione in evoluzione. Il fatto che il codice giri non garantisce inoltre che giri bene, perché per ottenere il massimo da un acceleratore spesso servono ottimizzazioni specifiche, come i kernel scritti a mano.

C’è poi la questione dell’ecosistema. CUDA ha alle spalle quasi vent’anni di librerie, strumenti di debug e competenze diffuse tra i programmatori. TorchNeuron può abbassare la barriera d’ingresso, ma la maturità dell’ecosistema si costruisce nel tempo e con la community.

Cosa cambia per te

Se lavori con modelli AI, che tu sia sviluppatore, responsabile tecnico di una startup o consulente, la notizia ha un effetto pratico: l’alternativa alle GPU Nvidia diventa più concreta e più facile da testare. Il rilascio open source, annunciato per la PyTorch Conference, permette inoltre alla comunità di ispezionare il codice, segnalare problemi e contribuire, cosa che di solito accelera la fiducia degli sviluppatori.

Il consiglio operativo è semplice. Prima di spostare un carico di produzione, prova TorchNeuron su un modello di dimensioni contenute, misura costo e prestazioni sul tuo caso reale e confrontali con la tua infrastruttura attuale. I numeri di Deepgram sono un indizio promettente, non una garanzia per il tuo progetto.

Vale la pena osservare anche il tempismo. Presentare lo strumento in concomitanza con la PyTorch Conference significa parlare direttamente alla comunità che scrive e mantiene il framework, non soltanto ai clienti del cloud. È un segnale: Amazon vuole essere percepita come un partecipante dell’ecosistema PyTorch e non come un fornitore che chiede agli sviluppatori di cambiare abitudini.

Conclusioni

TorchNeuron non cambia da solo gli equilibri del mercato, ma colpisce il punto giusto: la facilità di passare da un chip all’altro. Se Amazon riuscirà a mantenere la promessa della compatibilità con PyTorch, la concorrenza sul costo del calcolo AI potrebbe diventare più vera di quanto sia stata finora, con benefici per chi sviluppa e per chi paga la bolletta.

Seguici per gli aggiornamenti sull’uscita open source e sui primi test indipendenti: ti racconteremo se la promessa regge fuori dai comunicati. Nel frattempo, se usi PyTorch, vale la pena aprire la documentazione di AWS Neuron e fare una prova.