Forschende haben Taste-Bench vorgestellt, einen Test mit 502 Fragen dazu, ob KI-Modelle bei Programmier- oder Rechercheaufgaben den besseren Weg einschlagen können, bevor sich das Ergebnis in späteren Schritten zeigt. Im Test mit 14 Modellen erzielte GPT-5.6 Sol mit 59.7% das beste Ergebnis. Eine Frage wurde nur gewertet, wenn das Modell bei beiden Antwortreihenfolgen richtig lag.
War der Hinweis bereits sichtbar, lag die durchschnittliche Genauigkeit bei 62.3%. Tauchte er erst viel später auf, sank sie auf 21%. Die Forschenden trainierten außerdem ein Qwen3.6-27B-Modell, das einen separaten Agenten beraten sollte: Bei 41 zurückgehaltenen SWE-bench-Pro-Aufgaben stieg die Erfolgsquote von 14.6% auf 33.7%. Das Team gibt an, Benchmark und Code öffentlich zugänglich zu machen.
Warum es wichtig ist
Für Teams, die Programmieragenten einsetzen, deuten die Ergebnisse darauf hin, dass bestandene Tests am Ende einer Aufgabe nicht zeigen müssen, ob ein Agent Entscheidungen trifft, die spätere Arbeit erleichtern. Ob Taste-Bench die Leistung im alltäglichen Einsatz vorhersagt, ist weiterhin offen.
