Sakana AI e Multi-Layered Review: il revisore che trova il 73% degli errori nei paper

Un revisore automatico che legge un articolo scientifico e riesce davvero a scovare l’errore piantato apposta dagli sperimentatori: è questo l’obiettivo di Multi-Layered Review, il sistema presentato da Sakana AI in un lavoro pubblicato su TMLR e intitolato Beyond Imitation. Secondo i numeri riportati, il sistema individua il 73,43% degli errori che toccano le affermazioni centrali di un paper, contro il 14,81% del miglior concorrente precedente.

Il dato conta perché la revisione tra pari è uno dei colli di bottiglia più evidenti della ricerca moderna, e perché finora gli strumenti AI per la review sono stati giudicati con un criterio discutibile.

Che cos’è Multi-Layered Review di Sakana AI

Multi-Layered Review, abbreviato in MLR, è un sistema agentico: invece di chiedere a un modello di scrivere una recensione in un colpo solo, divide il lavoro tra più agenti, ciascuno con un compito preciso. Il sistema gira su modelli Claude disponibili sul mercato, senza GPU dedicate e senza alcun fine-tuning, e questo lo rende riproducibile da chiunque abbia accesso alle API.

La fonte primaria è il paper su arXiv, consultabile nella pagina dell’abstract. I dettagli che trovi qui sotto seguono la sintesi pubblicata da MarkTechPost, che cita il lavoro dei ricercatori.

I tre agenti al lavoro

Il primo è l’agente dell’appendice, basato su Claude Haiku 3.5, che riassume esperimenti e dettagli implementativi spesso sepolti nelle ultime pagine. Il secondo è l’agente di letteratura, basato su Claude Sonnet 4 e dotato di ricerca web, che colloca il lavoro rispetto agli studi precedenti; è opzionale e non rientra nel calcolo dei costi.

Il terzo, l’agente di revisione, è il cuore del sistema. Usa sempre Claude Sonnet 4 e segue una catena di tre passaggi ispirata al metodo di lettura in tre passate di Keshav, un classico per chi deve leggere paper scientifici.

Nella prima passata scrive uno schema generale del lavoro. Nella seconda legge in dettaglio e segnala punti deboli, assunzioni e lacune. Nella terza fonde tutto in un documento finale con punti di forza, debolezze, domande, raccomandazione, punteggio e una lista di cose da fare.

Il PDF viene passato direttamente al modello, così figure ed equazioni non si perdono nella conversione in testo. Il sistema legge fino a dieci pagine di testo principale.

Il Contradiction Benchmark: misurare se l’errore viene trovato

La vera novità metodologica è il modo di valutare. La maggior parte degli strumenti di review automatica viene giudicata in base a quanto la sua recensione somiglia a quelle scritte da revisori umani. Sakana ribalta l’impostazione e chiede una cosa più concreta: l’AI trova un errore che sappiamo essere presente?

Per rispondere nasce il Contradiction Benchmark, con 1.164 contraddizioni inserite in 257 articoli. I paper provengono da cinque sedi con licenza Creative Commons: ACL, AISTATS, CVPR e ICML del 2025, più NeurIPS 2024.

La costruzione è curiosa. Gemini 2.5 Pro crea un grafo della conoscenza di ciascun paper, con affermazioni, prove e metodi. La distanza di ogni nodo dall’affermazione principale determina la gravità dell’errore: distanza zero significa che l’errore tocca un risultato centrale, distanze maggiori riguardano dettagli sempre più periferici. Poi GPT-4.1 riscrive un nodo per distanza trasformandolo in una contraddizione.

A giudicare le recensioni è o3, che valuta ogni review dieci volte. Sempre secondo la sintesi, il giudice è accurato al 99,9% sui paper puliti e ha una sensibilità dell’86,8% sulle catture confermate a mano, quindi i tassi di rilevamento riportati potrebbero essere persino prudenti.

I risultati contro i sistemi concorrenti

Sul benchmark completo, MLR con quattro revisioni individua il 40,95% delle contraddizioni, mentre LLM-Review si ferma al 6,39%, AI Reviewer al 6,50% e AgentReview al 5,95%. Il divario è netto.

Sugli errori di distanza zero, quelli che minano le affermazioni centrali, MLR arriva al 73,43%, contro il 14,56% di LLM-Review, l’11,17% di AI Reviewer e il 14,81% di AgentReview. Anche una singola revisione di MLR trova il 60,79% di questi errori.

Un dettaglio utile per chi lavora con gli agenti: sostituire GPT-4.1 con Claude Sonnet 4 dentro LLM-Review fa salire il rilevamento sugli errori centrali dal 14,56% al 35,40%. Il modello conta, ma l’architettura di MLR aggiunge circa 25 punti in più su una singola revisione.

Costi e allineamento con i revisori umani

Una revisione costa circa 0,47 dollari, escludendo l’agente di letteratura, e consuma 189.062 token in ingresso. AI Reviewer costa circa 0,49 dollari con oltre 403 mila token, AgentReview circa 0,81 dollari, LLM-Review circa un centesimo ma con un rilevamento molto più basso. Una variante a prompt singolo taglia il costo di circa due terzi, perdendo però circa 3,5 punti di rilevamento su un sottoinsieme.

Sul fronte dell’accordo con gli umani, la correlazione di Pearson con i punteggi di ICLR 2025 è 0,586 per MLR, contro 0,538 di AI Reviewer, mentre il riferimento tra due revisori umani è 0,742. Su ICML 2025, AI Reviewer è leggermente avanti: 0,439 contro 0,429.

Gli autori leggono questo dato come una complementarità. MLR si concentra su validità ed esperimenti, mentre gli esseri umani pesano di più chiarezza e novità.

I limiti che gli stessi autori riconoscono

Il quadro non è privo di ombre. Sui paper realmente ritirati da arXiv, la corrispondenza esatta con l’errore scende al 16,11% (26,07% se si accetta una corrispondenza simile). Gli errori del mondo reale sono quindi più sfuggenti di quelli inseriti artificialmente.

C’è poi il problema dell’iniezione di prompt nascosta: tutti i revisori AI testati si lasciano ancora influenzare da istruzioni nascoste nel documento. Per un sistema che dovrebbe fare da filtro di qualità, è una vulnerabilità non banale.

Infine il codice di MLR è disponibile solo su richiesta, quindi per ora non puoi scaricarlo e provarlo. Il lavoro resta però replicabile in linea di principio, perché usa modelli commerciali e un metodo descritto con chiarezza.

Perché questa notizia conta per chi usa l’AI

La prima lezione riguarda la valutazione. Misurare un sistema AI sulla capacità di trovare un difetto noto è più onesto che misurarlo sulla somiglianza con un testo scritto da una persona, ed è un principio che vale ben oltre la ricerca accademica.

La seconda riguarda l’orchestrazione. Il risultato non nasce da un modello più grande, ma da un flusso ben disegnato con agenti specializzati, lo stesso filone che avevamo visto quando abbiamo raccontato Fugu Max e Fugu Ultra v2 di Sakana AI, dove l’orchestrazione multi-agente sfida modelli molto più grandi.

La terza riguarda i modelli usati. Il fatto che MLR giri su Claude di generazioni precedenti suggerisce che con i modelli più recenti, come Claude Sonnet 5.5, i margini potrebbero essere ancora più ampi. È un’ipotesi, non un risultato dimostrato, e va trattata come tale.

Pensa anche ai costi: se il subagente giusto è economico, come accade con Claude Haiku 5.5, un’architettura a più agenti diventa sostenibile anche per chi controlla centinaia di documenti al mese.

Il punto, in sintesi, è che un revisore AI può diventare un primo filtro prezioso, non un giudice finale.

Conclusioni: come muoverti da subito

Se lavori con la ricerca, con report tecnici o con contenuti che devono reggere a un controllo di coerenza, puoi già applicare l’idea di fondo: dividi la revisione in passaggi, fai riassumere separatamente gli allegati, chiedi al modello di cercare contraddizioni tra affermazioni e prove, e tieni sempre una persona a decidere. Per approfondire l’uso dell’assistente di Anthropic puoi partire dalla nostra pagina dedicata a Claude AI.

Resta da vedere se Sakana rilascerà il codice e se la comunità riuscirà a ripetere i risultati su errori reali. Seguici per i prossimi aggiornamenti e, intanto, raccontaci nei commenti se useresti un revisore AI sui tuoi documenti.