Performance Factory di OpenAI: Codex indaga sui rallentamenti di ChatGPT
OpenAI ha svelato il Performance Factory: agenti Codex che indagano sui rallentamenti di ChatGPT, con oltre 1.700 indagini e 600 cause trovate.

OpenAI ha raccontato come tiene veloce ChatGPT: lo fa con il Performance Factory, un sistema interno basato su Codex che indaga da solo sulle regressioni di prestazioni, individua la causa e propone la correzione. Secondo il resoconto tecnico condiviso in esclusiva con VentureBeat, in poco più di tre mesi ha tracciato oltre 1.700 indagini e trovato la causa radice di più di 600 casi.
Sono numeri che fanno capire quanto sia cambiato il lavoro di chi mantiene un servizio usato da milioni di persone. Quando gli agenti scrivono e modificano codice a ritmo sostenuto, controllare a mano ogni cambiamento diventa il vero collo di bottiglia.
Che cos’è il Performance Factory e perché OpenAI lo ha costruito
Quando un aggiornamento rallenta un’applicazione, gli ingegneri devono controllare le metriche, seguire le richieste attraverso i vari servizi, trovare il codice responsabile e provare possibili soluzioni. È un lavoro lungo, che richiede esperienza e molta pazienza. Il team di performance engineering di OpenAI lo faceva a mano, esaminando log, tracce e modifiche al codice, e nel tempo aveva sviluppato più di 30 strumenti specializzati per velocizzare le indagini.
Poi è arrivato Codex. Invece di cercare a mano nel codice e nella telemetria, gli ingegneri hanno iniziato a chiedere a Codex perché un servizio fosse diventato più lento. L’agente analizzava i log e usava gli strumenti per rispondere, ma erano comunque le persone a guidare il processo passo dopo passo.
Il passo successivo è stato scrivere una skill riutilizzabile, chiamata perf-forensics, che raccoglie le procedure di indagine del team in una forma che l’agente può riprodurre. Dopo i test, bastava dare a Codex un allarme di prestazioni per ottenere una diagnosi in una sola esecuzione.
A quel punto gli ingegneri erano diventati dei semplici intermediari: copiavano gli allarmi in Codex e incollavano i risultati su Slack. Così il team ha collegato direttamente gli allarmi a sessioni Codex nel cloud. Restava un problema: l’indagine finiva con una diagnosi che qualcuno doveva rivedere e mettere in pratica, mentre il team di ChatGPT affrontava regressioni quasi ogni giorno e faticava a tenerne traccia.
Dal tracciamento delle regressioni ai task per gli agenti
Da un sistema pensato per tenere il conto delle regressioni è nata l’idea chiave: ogni regressione tracciata può diventare un task che Codex porta avanti da solo, passando per la ricerca della causa, la proposta di correzione e la verifica del recupero. Su questa idea si regge l’architettura a task del Performance Factory.
Ogni task conserva il proprio stato e le proprie scoperte, così agenti diversi possono lavorare sullo stesso problema in momenti diversi. Il record contiene un campo libero dove gli agenti lasciano note e alcuni metadati strutturati, per esempio il momento in cui è iniziata la regressione e quello in cui è stata trovata la causa.
Gli agenti non copiano grandi quantità di dati di profilazione nel task. Annotano le metriche, le query e le conclusioni sintetiche, e l’agente successivo può rieseguire le query se vuole verificare i risultati.
Come funziona, in quattro componenti
Il sistema ha quattro parti principali. Il servizio dei task memorizza i task e i loro progressi: gli ingegneri definiscono i flussi di lavoro con file di configurazione e forniscono prompt in markdown che dicono agli agenti cosa fare a ogni fase. Un ciclo di dispatch controlla periodicamente i task e, quando uno è pronto ad avanzare, avvia una sessione Codex e glielo assegna.
La terza parte è un’API interna per eseguire Codex nel cloud, in ambienti con accesso ai repository di codice e all’infrastruttura di osservabilità di OpenAI. È progettata in modo da controllare i permessi e tracciare le azioni degli agenti. La quarta sono le sottoscrizioni, che collegano i task a eventi esterni: se un agente apre una pull request e serve la revisione di un ingegnere, il task resta in pausa finché non arriva il feedback su GitHub.
Se segui il mondo di ChatGPT sai quanto la rapidità di risposta conti per l’esperienza d’uso. Qui l’azienda applica i propri agenti al problema di tenere veloce il prodotto, non solo di costruirlo.
Il Regression Workflow e la revisione avversaria
La prima implementazione concreta è il Regression Workflow, che parte quando scatta un allarme configurato. Si crea un task e gli agenti lo analizzano con la skill perf-forensics. L’agente stabilisce prima che cosa è cambiato, guardando le metriche coinvolte, il momento in cui le prestazioni sono peggiorate e le richieste interessate. Poi cerca la causa esaminando modifiche al codice, log e tracce.
OpenAI ha notato che gli agenti si fermavano a volte alla prima spiegazione plausibile, anche quando le prove non la sostenevano del tutto. La risposta è stata introdurre una revisione avversaria.
Una sessione Codex separata, con contesto nuovo, riceve l’intero record del task e ha l’istruzione di trovare lacune nella diagnosi, verificare le prove e mettere alla prova spiegazioni alternative. Dedica tutta la sessione a contestare le conclusioni dell’agente originale.
Un esempio riportato nel resoconto: un agente aveva attribuito le conversazioni di ChatGPT che fallivano a errori nello scaricamento delle immagini. Il revisore ha visto che il servizio interno incaricato di localizzare i file si era già ripreso mentre le richieste di immagini continuavano a fallire, e ha riaperto l’indagine, perché la diagnosi iniziale non spiegava i fallimenti rimasti.
All’inizio il revisore rimandava indietro molte diagnosi. Il team ha usato quel riscontro per migliorare le istruzioni dell’investigatore, riducendo i casi respinti: oggi la revisione avversaria rimanda indietro circa il 25% delle diagnosi.
I risultati: tanta diagnosi, meno correzioni automatiche
Superata la revisione, Codex propone una correzione e apre una pull request, che un ingegnere esamina prima di decidere se unirla al codice. I dati mostrano la distanza tra capire un problema e risolverlo in modo affidabile. Dei più di 600 casi arrivati a una causa radice, circa 400 sono passati a una correzione proposta. Circa 50 correzioni poi rilasciate sono state influenzate dai suggerimenti dell’agente o coincidevano con essi, mentre circa 15 erano esattamente le pull request scritte da Codex.
Il team ammette che questi numeri sono inferiori alle ambizioni sulla correzione automatica. Gran parte del lavoro sulle regressioni, però, consiste nel rilevarle, trovarne le cause, seguirne l’avanzamento e verificare il recupero, e il Performance Factory ha automatizzato buona parte di questo percorso.
Codex funziona meglio quando la causa è chiara e la correzione è contenuta. Un esempio è una modifica che porta l’applicazione a serializzare più volte la stessa conversazione durante una richiesta: l’agente individua il lavoro ridondante e propone di serializzarla una volta sola, riutilizzando il risultato.
Le modifiche più complesse restano difficili, soprattutto quando una nuova funzione aggiunge latenza e richiede interventi sull’architettura. Gli agenti a volte propongono correzioni troppo complicate o creano nuovi problemi: una cache può migliorare i tempi di risposta ma generare dati non aggiornati. Per questo OpenAI ha aggiunto la revisione avversaria anche alle correzioni proposte.
Dopo il rilascio di una correzione, un altro agente controlla se il problema è stato risolto. Se persiste, il task torna alla fase di indagine.
Le lezioni per chi costruisce workflow con agenti
Il resoconto ricava alcune indicazioni utili anche fuori dal mondo delle prestazioni. La prima è evitare la fatica da revisione: dove una persona deve controllare l’output di un agente, conviene mostrarle le informazioni più rilevanti, altrimenti si finisce sommersi da contenuto di scarso valore. Il sistema oggi raggruppa gli incidenti collegati, ne stima l’impatto per ordinarli e genera rapporti sintetici con grafici e metriche.
La seconda lezione riguarda il contesto degli agenti. Conservare conclusioni di alto livello e query riproducibili nei record dei task permette il passaggio del lavoro tra agenti senza trasferire grandi volumi di telemetria grezza, un modello utile per i flussi in più fasi.
La terza è valutare gli agenti e la loro interazione con le persone. OpenAI confronta le indagini con incidenti passati, misurando quanto bene gli agenti individuano l’inizio dei problemi, il loro impatto e le possibili cause, e valuta a parte i riassunti per capire se gli ingegneri riescono a comprendere prove e azioni proposte. Serve cautela, perché le prove storiche possono scadere e le informazioni raccolte dopo un incidente possono rivelare la risposta giusta.
L’ultima è tenere d’occhio gli agenti stessi. Un agente giornaliero esamina i log recenti alla ricerca di errori ricorrenti degli strumenti e di problemi di permessi; se un problema blocca spesso le indagini, il sistema può creare un task e proporre una correzione da far rivedere a un ingegnere.
Cosa cambia: dall’emergenza all’ottimizzazione continua
Oggi il Performance Factory risponde ad allarmi configurati, ma OpenAI vuole estenderlo all’ottimizzazione proattiva. Il team sta studiando come far confrontare agli agenti profili CPU, dati sulla memoria e tracce delle richieste tra versioni diverse, per scoprire rallentamenti che gli allarmi non vedono, e sviluppa flussi per attività come il dimensionamento dei servizi, con cui individuare configurazioni di autoscaling inefficienti.
OpenAI sta anche valutando se in futuro gli agenti potranno rilasciare alcune correzioni a basso rischio senza approvazione umana. È un punto delicato, perché sposta il confine tra supporto e autonomia.
Per chi lavora con il codice, il messaggio è concreto. Gli agenti sono già utili per diagnosticare, tracciare e verificare, mentre la correzione affidabile resta la parte più difficile. Se vuoi capire dove stanno andando gli strumenti per sviluppatori di OpenAI, puoi leggere anche come Codex ha trovato la falla di OpenJDK chiamata Java4Shell e come ChatGPT e Codex condivideranno un unico limite d’uso. Sul fronte dei modelli, ti consiglio il nostro approfondimento su GPT-6.2 Astra e Sol.
Conclusioni
Il Performance Factory mostra una direzione chiara: gli agenti non servono solo a scrivere codice, ma anche a mantenere in salute i prodotti che quel codice alimenta, con le persone che restano a decidere dove serve giudizio. Se sviluppi software, prova a chiederti quali delle tue indagini ripetitive potrebbero diventare task per un agente, con una revisione avversaria a fare da controllo.
Seguici per le prossime novità su Codex e sugli agenti di OpenAI.
Tutta l'AI della settimana, in 5 minuti, nella tua email
- Le guide e le notizie della settimana, divise per rubrica
- Solo ciò che conta, verificato e spiegato in italiano
- Niente spam, ti cancelli con un clic
Daniele Della Corte
Fondatore di IntelligenzaArtificiale.net · Consulente SEO e AI dal 2008
Prima della pubblicazione controlla fonti, numeri e nomi, e risponde personalmente di quello che leggi. Lavora con l'intelligenza artificiale da oltre 7 anni: ha fondato BeProud.ai e ha progettato la redazione di questo sito.
Consulenza AIVuoi applicare l'AI al tuo lavoro? Ti aiuto a scegliere cosa automatizzare e a realizzarlo.
Scopri la consulenza
