Araştırmacılar, yapay zekâ modellerinin bir kodlama ya da araştırma görevi sırasında, sonraki adımlar sonucu ortaya çıkarmadan önce daha iyi yönü seçip seçemediğini ölçen 502 soruluk Taste-Bench’i tanıttı. 14 modelin test edildiği değerlendirmede en yüksek puanı %59,7 ile GPT-5.6 Sol aldı; sorular yalnızca model her iki yanıt sıralamasında da doğru seçim yaptığında doğru sayıldı.
İpucunun baştan görülebildiği durumlarda doğruluk ortalama %62,3’tü; ipucu ancak çok daha sonra ortaya çıktığında ise bu oran %21’e düştü. Araştırmacılar ayrıca ayrı bir ajana öneriler vermesi için Qwen3.6-27B modelini eğitti: SWE-bench Pro’dan ayrılan 41 görevde başarı oranı %14,6’dan %33,7’ye yükseldi. Ekip, kıyaslama testinin ve kodun herkese açık olduğunu belirtiyor.
Neden önemli
Kodlama ajanları kullanan ekipler için sonuçlar, görev sonundaki testleri geçmenin ajanın sonraki işlere katkı sağlayacak seçimler yapıp yapmadığını göstermeyebileceğine işaret ediyor. Taste-Bench’in gündelik kullanımdaki performansı öngörüp öngöremediği ise henüz bilinmiyor.
