Forskare har introducerat Taste-Bench, ett test med 502 frågor som undersöker om AI-modeller kan välja rätt inriktning under kodnings- eller forskningsarbete, innan senare steg visar resultatet. Av de 14 testade modellerna fick GPT-5.6 Sol högst poäng, 59,7 procent. En fråga räknades bara om modellen svarade rätt i båda svarsalternativens ordningsföljder.
Den genomsnittliga träffsäkerheten var 62,3 procent när ledtråden redan syntes, men sjönk till 21 procent när den blev synlig först mycket senare. Forskarna tränade också en Qwen3.6-27B-modell att ge råd till en separat agent. På 41 SWE-bench Pro-uppgifter som modellen inte tränats på ökade framgångsgraden från 14,6 till 33,7 procent. Forskargruppen uppger att både testet och koden är offentliga.
Varför det spelar roll
För team som använder kodningsagenter tyder resultaten på att godkänt på tester i slutet av en uppgift inte nödvändigtvis visar om en agent fattar beslut som underlättar senare arbete. Det är fortfarande oklart om Taste-Bench kan förutsäga prestanda i vanlig användning.
