# Uno studio valuta se i modelli decisionali possono sostituire i giudici LLM

> Uno studio su arXiv rileva che alcuni modelli a passaggio singolo eguagliano o superano certi giudici che generano testo nei benchmark di valutazione, ma i risultati variano in base al compito e al modello.

Oossa · 2026-11-03 · https://oossa.com/it/study-tests-whether-decision-models-can-replace-llm-judges

Data dell’evento: 2026-10-31

Un nuovo studio pubblicato su arXiv rileva che alcuni modelli progettati per prendere decisioni direttamente sul testo possono eguagliare o superare modelli più grandi di IA che generano testo e fungono da giudici nei test di valutazione più comuni. Questi modelli rispondono a domande con risposte predefinite, per esempio sì o no, a scelta multipla o con un punteggio, senza fornire spiegazioni. Il paper li definisce modelli decisionali «System-1» e valuta se possano giudicare le risposte dell’IA a un costo inferiore rispetto a modelli come GPT-5.6 e Claude Opus 5.5.

I ricercatori hanno confrontato 14 modelli decisionali con quattro giudici generativi su 11 benchmark consolidati. Nei test a coppie e best-of-4 dello studio, cinque modelli decisionali hanno ottenuto risultati statisticamente indistinguibili da quelli di GPT-5.6 senza ragionamento. Secondo il paper, su JudgeBench, LLMBar e RewardBench 2, due modelli — DReX-Max e d1-ultra — hanno ottenuto punteggi significativamente superiori a Claude Haiku 5.5.

## Le risposte di riferimento cambiano i risultati

Fornire al giudice una risposta di riferimento ha migliorato nettamente i punteggi. Quando per ogni prompt è stata generata una risposta di riferimento, 11 modelli decisionali hanno ottenuto su JudgeBench punteggi compresi tra il 90,3% e il 93,4%. I ricercatori affermano che questi risultati sono statisticamente indistinguibili da quelli di GPT-5.6 con ragionamento e di Claude Opus 5.5 con modalità thinking.

Nel test best-of-16 di PPE, tutti i modelli decisionali a cui è stata fornita una risposta di riferimento hanno eguagliato GPT-5.6 con ragionamento, con un costo per prompt pari a circa un sedicesimo, secondo il paper. Il confronto presuppone che la risposta di riferimento sia disponibile: non riguarda valutazioni svolte senza tale risposta. L’abstract non specifica le condizioni di accesso ai modelli né come sia stato calcolato il costo.

## L’approccio ha dei limiti

I risultati non sono stati uniformi per tutti i modelli o gli aspetti esaminati. Quando i ricercatori hanno inserito un’istruzione nel materiale da valutare, il verdetto corretto è cambiato nello 0–5% dei casi per cinque modelli decisionali, ma nel 17–49% dei casi per gli altri nove. Il paper afferma che la resistenza a queste istruzioni dipende dal singolo modello, non dal semplice fatto che sia un modello decisionale.

Lo studio riferisce inoltre che due classifiche di modelli decisionali general-purpose, nessuna delle quali include attività di valutazione, hanno previsto con precisione i risultati ottenuti nel giudicare. Ciò può aiutare i ricercatori a selezionare i modelli da esaminare, ma non dimostra che tutti siano adatti a fungere da giudici. Sono risultati ottenuti in benchmark nell’ambito di un singolo studio, non la prova che i modelli decisionali possano sostituire i giudici generativi in ogni uso concreto.

## I fatti

- Lo studio ha confrontato 14 modelli decisionali System-1 con quattro giudici generativi su 11 benchmark.
- DReX-Max e d1-ultra hanno ottenuto punteggi significativamente superiori a Claude Haiku 5.5 su JudgeBench, LLMBar e RewardBench 2.
- Con una risposta di riferimento, 11 modelli decisionali hanno ottenuto su JudgeBench punteggi compresi tra il 90,3% e il 93,4%.
- Nel test best-of-16 di PPE, i modelli decisionali guidati da una risposta di riferimento hanno eguagliato GPT-5.6 con ragionamento, a circa un sedicesimo del costo per prompt, secondo il paper.

## Perché conta

I team che usano l’IA per valutare risposte generate dall’IA potrebbero avere a disposizione opzioni meno costose da testare, soprattutto se possono fornire una risposta di riferimento. Tuttavia, lo studio ha rilevato forti differenze nel modo in cui i modelli hanno gestito le istruzioni inserite nel testo: i risultati non dimostrano quindi che un qualsiasi modello decisionale sia un sostituto sicuro e valido in generale di un giudice che genera testo.

## Fonti e riferimenti

1. [To Jev or Not to Jev: When Can System-1 Decision Models Replace LLM Judges?](https://arxiv.org/abs/2611.00505) – arXiv, 2026-11-03

Ultimo aggiornamento: 2026-11-03