# Taste-Bench में लंबे समय के फैसलों में AI एजेंट पिछड़े

> 502 सवालों वाला यह बेंचमार्क परखता है कि नतीजा सामने आने से पहले AI बेहतर रास्ता चुन सकता है या नहीं। जांचे गए मॉडलों में सबसे आगे रहे मॉडल का स्कोर 59.7% था।

Oossa · 2026-10-18 · https://oossa.com/hi/taste-bench-finds-ai-agents-struggle-with-long-term-choices

शोधकर्ताओं ने Taste-Bench पेश किया है। इसमें 502 सवालों के ज़रिए परखा जाता है कि कोडिंग या शोध के किसी काम के दौरान, आगे के चरणों में नतीजा सामने आने से पहले, AI मॉडल सही दिशा चुन पाते हैं या नहीं। 14 मॉडलों की जांच में GPT-5.6 Sol ने 59.7% के साथ सबसे अधिक स्कोर किया; किसी सवाल को सही तभी गिना गया, जब मॉडल ने जवाबों के दोनों क्रम में सही विकल्प चुना।

जब संकेत पहले से दिखाई दे रहा था, तब औसत सटीकता 62.3% रही, लेकिन जब वह बहुत बाद में सामने आया, तो यह गिरकर 21% रह गई। शोधकर्ताओं ने एक अलग एजेंट को सलाह देने के लिए Qwen3.6-27B मॉडल को प्रशिक्षित भी किया: SWE-bench Pro के 41 ऐसे कार्यों पर, जिन्हें प्रशिक्षण में शामिल नहीं किया गया था, सफलता दर 14.6% से बढ़कर 33.7% हो गई। टीम का कहना है कि बेंचमार्क और कोड सार्वजनिक हैं।

## तथ्य

- Taste-Bench में एजेंटों के फैसले के बिंदुओं पर आधारित 502 सवाल हैं।
- प्रशिक्षित Qwen3.6-27B की सलाह से SWE-bench Pro के 41 ऐसे कार्यों में सफलता दर 14.6% से बढ़कर 33.7% हो गई, जिन्हें प्रशिक्षण में शामिल नहीं किया गया था।

## यह क्यों मायने रखता है

कोडिंग एजेंट इस्तेमाल करने वाली टीमों के लिए, इन नतीजों से संकेत मिलता है कि काम के अंत में परीक्षण पास करना यह साबित नहीं करता कि एजेंट ऐसे फैसले लेता है जो आगे के काम में मददगार हों; रोज़मर्रा के इस्तेमाल में Taste-Bench प्रदर्शन का अनुमान लगा सकता है या नहीं, यह अभी अज्ञात है।

## स्रोत और संदर्भ

1. [AI agents have bad taste in long-term decisions and a new benchmark proves it](https://the-decoder.com/ai-agents-have-bad-taste-in-long-term-decisions-and-a-new-benchmark-proves-it/) – The Decoder, 2026-10-18

अंतिम अपडेट: 2026-10-18