Meta Prometheus: dentro il supercluster da un milione di GPU in Ohio

Meta ha aperto per la prima volta il cofano di Prometheus, il supercluster da scala gigawatt che si trova a New Albany, in Ohio, e che ha addestrato la famiglia di modelli Muse. Il 19 ottobre 2026 il team di ingegneria dell’azienda ha pubblicato un lungo approfondimento tecnico che racconta come un data center nato per servire traffico web sia stato trasformato in una macchina per l’addestramento di modelli di frontiera, con l’obiettivo dichiarato di arrivare a circa un milione di GPU che lavorano all’unisono.

Se ti interessa capire che cosa c’è davvero dietro un modello come Muse Wonder, questo è uno dei rari documenti che parla di infrastruttura con numeri concreti: affidabilità, reti, raffreddamento, energia. Vediamo i punti principali, partendo dalla fonte primaria, il post di Engineering at Meta.

Che cos’è Prometheus e a che punto è

Due anni fa il sito di New Albany era un data center convenzionale. Oggi, secondo Meta, è un cluster in costruzione a fasi: la prima è completata ed è stata usata per addestrare i modelli Muse, compreso Muse Wonder, mentre la scalatura continua.

La dimensione attuale è nell’ordine delle centinaia di migliaia di GPU distribuite su più edifici interconnessi, che comprendono data center tradizionali, strutture ottimizzate per l’AI e costruzioni a installazione rapida. Meta sostiene che l’insieme funzioni come una singola macchina. Il traguardo è circa un milione di GPU.

Un dettaglio da notare: l’articolo non indica la potenza totale del sito in megawatt o gigawatt, ma soltanto i consumi per rack. Il “gigawatt” del titolo resta quindi una definizione di scala, non un dato misurato che puoi verificare.

Le piattaforme hardware

Il cluster si basa su sistemi NVIDIA a livello di rack. La piattaforma chiamata Catalina usa GB200 NVL72 nella variante Ariel: 72 GPU Blackwell in un unico dominio NVLink, 13,4 TB di memoria HBM3e e circa 120 kW per la coppia di rack. Meta ha scelto una configurazione con due schede di rete ConnectX-7 da 400G per GPU, quindi 800G di banda verso l’esterno per ciascuna GPU, per evitare uno squilibrio tra potenza di calcolo e comunicazione.

La piattaforma Clemente passa invece a GB300 NVL72, con 72 GPU Blackwell Ultra, 20,7 TB di HBM3e, oltre un exaFLOP di calcolo FP4 e circa 135 kW per rack. Il miglioramento stimato rispetto a GB200 è del 5-10% in prestazioni, con un’accelerazione quasi doppia dell’attenzione softmax.

Poi c’è San Miguel, basata su Vera Rubin NVL72, in arrivo: 288 GB di HBM4 per GPU, oltre 170 kW per rack con raffreddamento completamente a liquido e un guadagno di prestazioni per watt del 10-20% rispetto a GB300.

La rete: il vero collo di bottiglia

In un cluster di questa taglia, la rete conta quanto le GPU. Meta ha costruito una rete Ethernet dedicata alla comunicazione tra GPU, organizzata a gerarchia: il traffico più sensibile a latenza e banda resta dentro una replica del modello, quello più tollerante viene distribuito tra le repliche.

Ogni fabric di edificio collega fino a 20.736 GPU. Il primo disegno usava un Disaggregated Scheduled Fabric, mentre il successivo ha adottato un Non-Scheduled Fabric con switch Ethernet da 51,2T, una volta che le schede di rete sono state in grado di riordinare i pacchetti. Entrambi funzionano con FBOSS, lo stack di rete di Meta.

Per unire gli edifici esiste poi uno strato di aggregazione che copre distanze da circa 2 km a oltre 100 km, costruito con chassis Arista della serie 7800 e silicio Broadcom Jericho3, con più Pbps di banda per coppia di regioni. Meta parla di milioni di miglia di fibra, decine di migliaia di switch e milioni di moduli ottici.

Sul fronte interno, ogni dominio NVL72 conta 5.184 collegamenti differenziali a 200 Gbps, per oltre 600.000 connessioni NVLink in tutto il sistema.

Affidabilità: il numero che conta davvero

Quando addestri un modello su decine di migliaia di GPU, il problema non è quanto vai veloce, ma quanto spesso ti fermi. Meta riporta una goodput superiore all’85% nel pre-training e superiore al 90% nell’apprendimento per rinforzo di Muse Wonder, con un tempo medio tra interruzioni di circa 47.000 ore GPU, salito oltre 54.000 dopo alcune correzioni al firmware.

Il tasso di interruzioni, arrivato a toccare quasi 1.000 eventi ogni 8.000 GPU al giorno a metà 2025, sarebbe stato ridotto del 99% in un anno. L’obiettivo finale è due interruzioni per 8.000 GPU al giorno, equivalente a circa 100.000 ore GPU di intervallo medio.

Come si gestisce un guasto su 72 GPU

I domini NVL72 hanno un raggio d’azione dei guasti circa nove volte più grande rispetto ai vecchi domini da 8 GPU. Per questo ogni rack esegue una fetta da 64 GPU e tiene 8 GPU come riserva interna: se una si guasta, subentra una spare e il job riparte dall’ultimo checkpoint senza attendere la riparazione. In più, circa il 2% di rack è tenuto di scorta per i guasti dell’intero rack.

C’è anche una tecnica di tolleranza ai guasti consapevole del parallelismo: se il problema riguarda una sola replica, quella viene messa offline mentre il resto del cluster ripete il passo e continua ad addestrare.

Le cause più frequenti elencate da Meta sono l’integrità del segnale NVLink, i problemi di memoria HBM e LPDDR e gli eventi della rete di backend, affrontati con telemetria continua, diagnostica prima della produzione e rilevamento predittivo dei componenti che si stanno degradando. Meta lavora con NVIDIA con team presenti nei data center e sessioni congiunte per individuare la causa di ogni arresto.

Energia e raffreddamento

Un addestramento sincronizzato può provocare oscillazioni di carico del 30-40% all’interno del cluster, con variazioni di decine di megawatt in pochi secondi. Meta risponde con un framework chiamato Dynamo Dimmer, che invece di fermare i job abbassa gradualmente i limiti di potenza delle GPU quando il cluster si avvicina al tetto elettrico. A questo si affiancano batterie a livello di rack, moduli a condensatori e sistemi di accumulo a livello di impianto.

Per il raffreddamento Meta usa soluzioni diverse a seconda dell’edificio: raffreddamento a liquido assistito dall’aria nelle strutture ad aria libera e in quelle a installazione rapida, raffreddamento a liquido di facility nell’edificio pensato per l’AI. Il disegno IcePack, un rack di rete raffreddato a liquido, viene condiviso tramite l’Open Compute Project.

Sul piano energetico l’azienda afferma di pagare l’intero costo dell’energia a New Albany insieme alle utility locali e di collaborare con sviluppatori per abbinare i consumi a nuova energia pulita. È un tema che sta diventando decisivo per tutto il settore: lo mostra anche il caso di Microsoft che lascia il data center Nscale a Loughton per un problema di rete elettrica.

Cosa viene dopo e perché conta

Meta prevede di espandere Prometheus con un mix di GB300 e Vera Rubin, puntando a un milione di GPU in sincronia e a modelli più grandi con contesti più lunghi. Il passo successivo è Hyperion, a Richland Parish, in Louisiana: sarà progettato con le lezioni di Prometheus, con raffreddamento a liquido a ciclo chiuso e un collegamento completo alla rete con Entergy.

Il contesto competitivo è chiaro. Altri laboratori inseguono la stessa scala, come mostra il piano di Colossus 2 di xAI verso 1,2 milioni di GPU Nvidia, e la differenza tra chi addestra bene e chi addestra male passa sempre più da dettagli come la gestione dei guasti e l’energia, non solo dal numero di chip.

Per Meta, inoltre, l’infrastruttura è la base della strategia sui modelli aperti e chiusi: lo stesso cluster sta dietro ai modelli come Muse Spark Open, il modello da 816 miliardi di parametri con pesi aperti.

Un’avvertenza utile: le cifre sono dichiarate da Meta stessa e non verificate da terzi, e il post non fornisce costi né potenza totale. Resta però una delle descrizioni più dettagliate mai pubblicate di come si fa funzionare un cluster di addestramento di questa taglia.

Conclusioni

Prometheus ci ricorda che la corsa ai modelli di frontiera si vince anche in sala macchine. Se lavori con l’AI, tieni d’occhio non solo i benchmark, ma anche i numeri su affidabilità, reti ed energia, perché sono loro a decidere chi riesce a scalare davvero.

Leggi il post originale di Meta, confrontalo con le tue esigenze di infrastruttura e seguici per i prossimi aggiornamenti su Hyperion e Vera Rubin.