Onderzoekers introduceerden Taste-Bench, een test met 502 vragen over de vraag of AI-modellen tijdens een programmeer- of onderzoekstaak de betere richting kunnen kiezen, voordat latere stappen de uitkomst duidelijk maken. In tests met 14 modellen behaalde GPT-5.6 Sol de hoogste score: 59,7%. Een vraag telde alleen mee als het model die in beide antwoordvolgordes goed beantwoordde.
De gemiddelde nauwkeurigheid was 62,3% wanneer de aanwijzing al zichtbaar was, maar daalde naar 21% wanneer die pas veel later opdook. De onderzoekers trainden ook een Qwen3.6-27B-model om een afzonderlijke agent advies te geven: bij 41 achtergehouden SWE-bench Pro-taken steeg het slagingspercentage van 14,6% naar 33,7%. Het team zegt dat de benchmark en de code openbaar zijn.
Waarom het ertoe doet
Voor teams die programmeeragents inzetten, suggereren de resultaten dat slagen voor tests aan het einde van een taak niet bewijst dat een agent keuzes maakt die later werk vooruithelpen. Het is nog onbekend of Taste-Bench prestaties in dagelijkse toepassingen kan voorspellen.
