I ricercatori hanno presentato Taste-Bench, un test di 502 domande per valutare se i modelli di IA sanno scegliere la direzione migliore durante un’attività di programmazione o ricerca, prima che le fasi successive ne rivelino l’esito. Nei test su 14 modelli, GPT-5.6 Sol ha ottenuto il punteggio più alto, con il 59,7%; una domanda veniva conteggiata solo se il modello rispondeva correttamente in entrambi gli ordini delle risposte.
La precisione media era del 62,3% quando l’indizio era già visibile, ma scendeva al 21% quando compariva solo molto più avanti. I ricercatori hanno inoltre addestrato un modello Qwen3.6-27B a fornire indicazioni a un agente distinto: su 41 attività SWE-bench Pro tenute da parte per la valutazione, il tasso di successo è salito dal 14,6% al 33,7%. Il team afferma che il benchmark e il codice sono disponibili pubblicamente.
Perché conta
Per i team che usano agenti di programmazione, i risultati suggeriscono che superare i test al termine di un’attività non basta a dimostrare che un agente compia scelte utili per il lavoro successivo. Resta da capire se Taste-Bench sia in grado di prevedere le prestazioni nell’uso quotidiano.
