Un nuovo studio pubblicato su arXiv rileva che alcuni modelli progettati per prendere decisioni direttamente sul testo possono eguagliare o superare modelli più grandi di IA che generano testo e fungono da giudici nei test di valutazione più comuni. Questi modelli rispondono a domande con risposte predefinite, per esempio sì o no, a scelta multipla o con un punteggio, senza fornire spiegazioni. Il paper li definisce modelli decisionali «System-1» e valuta se possano giudicare le risposte dell’IA a un costo inferiore rispetto a modelli come GPT-5.6 e Claude Opus 5.5.
I ricercatori hanno confrontato 14 modelli decisionali con quattro giudici generativi su 11 benchmark consolidati. Nei test a coppie e best-of-4 dello studio, cinque modelli decisionali hanno ottenuto risultati statisticamente indistinguibili da quelli di GPT-5.6 senza ragionamento. Secondo il paper, su JudgeBench, LLMBar e RewardBench 2, due modelli — DReX-Max e d1-ultra — hanno ottenuto punteggi significativamente superiori a Claude Haiku 5.5.
Le risposte di riferimento cambiano i risultati
Fornire al giudice una risposta di riferimento ha migliorato nettamente i punteggi. Quando per ogni prompt è stata generata una risposta di riferimento, 11 modelli decisionali hanno ottenuto su JudgeBench punteggi compresi tra il 90,3% e il 93,4%. I ricercatori affermano che questi risultati sono statisticamente indistinguibili da quelli di GPT-5.6 con ragionamento e di Claude Opus 5.5 con modalità thinking.
Nel test best-of-16 di PPE, tutti i modelli decisionali a cui è stata fornita una risposta di riferimento hanno eguagliato GPT-5.6 con ragionamento, con un costo per prompt pari a circa un sedicesimo, secondo il paper. Il confronto presuppone che la risposta di riferimento sia disponibile: non riguarda valutazioni svolte senza tale risposta. L’abstract non specifica le condizioni di accesso ai modelli né come sia stato calcolato il costo.
L’approccio ha dei limiti
I risultati non sono stati uniformi per tutti i modelli o gli aspetti esaminati. Quando i ricercatori hanno inserito un’istruzione nel materiale da valutare, il verdetto corretto è cambiato nello 0–5% dei casi per cinque modelli decisionali, ma nel 17–49% dei casi per gli altri nove. Il paper afferma che la resistenza a queste istruzioni dipende dal singolo modello, non dal semplice fatto che sia un modello decisionale.
Lo studio riferisce inoltre che due classifiche di modelli decisionali general-purpose, nessuna delle quali include attività di valutazione, hanno previsto con precisione i risultati ottenuti nel giudicare. Ciò può aiutare i ricercatori a selezionare i modelli da esaminare, ma non dimostra che tutti siano adatti a fungere da giudici. Sono risultati ottenuti in benchmark nell’ambito di un singolo studio, non la prova che i modelli decisionali possano sostituire i giudici generativi in ogni uso concreto.
Perché conta
I team che usano l’IA per valutare risposte generate dall’IA potrebbero avere a disposizione opzioni meno costose da testare, soprattutto se possono fornire una risposta di riferimento. Tuttavia, lo studio ha rilevato forti differenze nel modo in cui i modelli hanno gestito le istruzioni inserite nel testo: i risultati non dimostrano quindi che un qualsiasi modello decisionale sia un sostituto sicuro e valido in generale di un giudice che genera testo.
