शोधकर्ताओं ने Taste-Bench पेश किया है। इसमें 502 सवालों के ज़रिए परखा जाता है कि कोडिंग या शोध के किसी काम के दौरान, आगे के चरणों में नतीजा सामने आने से पहले, AI मॉडल सही दिशा चुन पाते हैं या नहीं। 14 मॉडलों की जांच में GPT-5.6 Sol ने 59.7% के साथ सबसे अधिक स्कोर किया; किसी सवाल को सही तभी गिना गया, जब मॉडल ने जवाबों के दोनों क्रम में सही विकल्प चुना।
जब संकेत पहले से दिखाई दे रहा था, तब औसत सटीकता 62.3% रही, लेकिन जब वह बहुत बाद में सामने आया, तो यह गिरकर 21% रह गई। शोधकर्ताओं ने एक अलग एजेंट को सलाह देने के लिए Qwen3.6-27B मॉडल को प्रशिक्षित भी किया: SWE-bench Pro के 41 ऐसे कार्यों पर, जिन्हें प्रशिक्षण में शामिल नहीं किया गया था, सफलता दर 14.6% से बढ़कर 33.7% हो गई। टीम का कहना है कि बेंचमार्क और कोड सार्वजनिक हैं।
यह क्यों मायने रखता है
कोडिंग एजेंट इस्तेमाल करने वाली टीमों के लिए, इन नतीजों से संकेत मिलता है कि काम के अंत में परीक्षण पास करना यह साबित नहीं करता कि एजेंट ऐसे फैसले लेता है जो आगे के काम में मददगार हों; रोज़मर्रा के इस्तेमाल में Taste-Bench प्रदर्शन का अनुमान लगा सकता है या नहीं, यह अभी अज्ञात है।
