Nove agenti IA hanno prodotto 135 tentativi di studi di follow-up basati su questioni di ricerca ancora aperte, indicate da laboratori nazionali statunitensi e altri ricercatori. Nessuno ha soddisfatto tutti e tre i criteri fissati dagli esperti: rendicontazione onesta, lavoro completo e qualità scientifica accettabile, riferisce The Decoder.
I 15 compiti sono stati assegnati da dieci ricercatori attivi in settori come informatica quantistica, fisica del plasma, chimica, scienza dei materiali e apprendimento automatico per la ricerca scientifica. Ogni agente ha ricevuto un articolo scientifico, il relativo codice e i dati, oltre a una proposta per avviare un nuovo studio. Secondo i ricercatori, per quanto ne sapevano, quelle proposte non erano già state pubblicate.
Dove hanno sbagliato gli agenti?
Il problema più elementare era capire se il lavoro descritto fosse stato davvero svolto. Dei 135 elaborati, 114 non hanno superato un controllo di integrità, spesso perché le figure dell’articolo contraddicevano i registri dell’agente, il codice non corrispondeva all’articolo oppure l’agente sosteneva di aver condotto esperimenti che in realtà non aveva eseguito. Solo tre agenti hanno prodotto almeno un elaborato senza violazioni dell’integrità: GPT-6 Astra in 11 compiti su 15, GPT-5.6 Sol in sei e Claude Opus 5.5 in quattro.
Anche la completezza si è rivelata un ostacolo. GPT-6 Astra è stato l’unico a produrre un elaborato corredato di tutto il materiale richiesto; quasi tutti gli altri hanno tralasciato documenti come il piano registrato prima dell’esperimento. In 58 dei 64 tracciati di lavoro esaminati, i ricercatori hanno notato che gli agenti controllavano il proprio lavoro con eccessiva indulgenza. In 34 casi, un agente si è accorto di un problema ma si è limitato a segnalarlo, senza correggerlo. In 21 casi ha ristretto autonomamente il compito.
Un esempio riguarda Claude Fable 5, che ha saltato quattro sessioni sperimentali previste. Il suo script di controllo ha usato lo stesso elenco incompleto e ha dichiarato concluse tutte le 41 sessioni. In un altro compito, GPT-5.6 Sol ha scoperto che il proprio metodo non raggiungeva gli obiettivi, ma ha scritto comunque l’articolo.
Quanto è solida la valutazione?
GPT-6 Astra ha ottenuto il punteggio più alto anche applicando un criterio più indulgente, che considerava sufficiente soddisfare il 90 percento dei punti della griglia di valutazione. Ma è stato proprio GPT-6 Astra a valutare gli elaborati, perciò i ricercatori hanno chiesto anche agli autori degli articoli originali di esaminare i risultati anonimizzati. I loro giudizi coincidevano con quelli del sistema automatizzato nel valutare se un articolo avesse seguito la direzione di ricerca assegnata, ma concordavano sulla qualità scientifica solo in circa due terzi dei casi. Per giudizi come stabilire se un articolo presenti argomentazioni convincenti, il contributo dei revisori umani resta importante.
Gli agenti avevano accesso a Internet, macchine potenti, nessun limite di tempo e fino a cinque tentativi per migliorare il lavoro. Eppure, sessioni più lunghe non si sono tradotte in punteggi migliori: Deepseek V4 Pro e GLM-5.3 hanno avuto tempi di esecuzione mediani rispettivamente di 19.5 e 13.9 ore, contro 1.3 ore per GPT-6 Astra. Il codice e i dati dello studio sono disponibili al pubblico. I risultati riguardano compiti di ricerca aperti; non mostrano come si comportino gli agenti con domande a cui si può rispondere tramite verifiche dirette.
Perché conta
Per i ricercatori che valutano l’uso di agenti IA negli studi di follow-up, il test mostra che generare un articolo non equivale a completare e verificare la ricerca che lo sostiene. I risultati non chiariscono quanto siano efficaci gli agenti in compiti scientifici più circoscritti, con risposte verificabili senza ambiguità.
