پژوهشگران Taste-Bench را معرفی کرده‌اند؛ آزمونی با 502 پرسش که می‌سنجد آیا مدل‌های هوش مصنوعی می‌توانند در جریان یک کار برنامه‌نویسی یا پژوهشی، پیش از آنکه مراحل بعدی نتیجه را روشن کنند، مسیر بهتر را انتخاب کنند یا نه. در آزمایش 14 مدل، GPT-5.6 Sol با امتیاز 59.7% بالاترین نتیجه را به دست آورد؛ فقط پاسخ‌هایی در محاسبه لحاظ شدند که مدل در هر دو ترتیبِ ارائه گزینه‌ها، درست انتخاب کرده بود.
میانگین دقت در مواردی که سرنخ از همان ابتدا قابل مشاهده بود 62.3% بود، اما وقتی سرنخ فقط بسیار دیرتر ظاهر می‌شد، به 21% کاهش یافت. پژوهشگران همچنین مدلی از Qwen3.6-27B را آموزش دادند تا به یک عامل دیگر مشاوره دهد: در 41 کارِ کنارگذاشته‌شده از آموزش در SWE-bench Pro، نرخ موفقیت از 14.6% به 33.7% رسید. این گروه می‌گوید بنچمارک و کد آن در دسترس عموم است.
چرا مهم است
برای تیم‌هایی که از عامل‌های برنامه‌نویسی استفاده می‌کنند، نتایج نشان می‌دهد قبولی در آزمون‌های پایان کار لزوماً به این معنا نیست که عامل تصمیم‌هایی می‌گیرد که به کارهای بعدی کمک کند؛ هنوز مشخص نیست Taste-Bench عملکرد در استفاده‌های روزمره را پیش‌بینی می‌کند یا نه.
