arXiv के एक नए शोधपत्र में SkillNEO पेश किया गया है। यह उन दोबारा इस्तेमाल किए जा सकने वाले निर्देशों—जिन्हें स्किल कहा जाता है—को बेहतर बनाने का तरीका है, जिनका पालन AI एजेंट काम पूरे करने के लिए करते हैं। लेखकों के मुताबिक, आठ क्षेत्रों के SkillsBench के 86 कार्यों में GPT-5.4 Mini का औसत रिवॉर्ड 49.1% से बढ़कर 66.4% हो गया। इन क्षेत्रों में सॉफ्टवेयर इंजीनियरिंग और ऑफिस का काम शामिल हैं।
यह तरीका किसी स्किल का सिर्फ सबसे अधिक स्कोर वाला संस्करण बनाए रखने की समस्या से निपटता है। कम स्कोर वाला संस्करण भी ऐसा उपयोगी सुधार दे सकता है, जिसे फायदा मिलने से पहले और संशोधित करना जरूरी हो। SkillNEO अलग-अलग तय करता है कि किस संस्करण का इस्तेमाल किया जाए और किन संस्करणों को आगे विकसित किया जाए। एक ही काम पर संबंधित संस्करणों की तुलना करके यह उन चरणों को पहचानता है जो सफल रहे, साथ ही उन नाकामियों को भी जिनका समाधान बाकी है। यह बाद में मिले सबूतों के आधार पर किसी पुराने संस्करण पर लौटकर उसे संशोधित भी कर सकता है।
कमजोर संस्करण को क्यों बनाए रखें?
अध्ययन में GPT-5.4 Mini ने काम किए, संशोधन सुझाए और स्किल में बदलाव किए। लेखकों ने अंतिम नतीजों का मूल्यांकन उन्हीं कार्य-उदाहरणों पर किया जिनका इस्तेमाल स्किल को विकसित करने के दौरान हुआ था; उन्होंने नए कार्यों पर अलग परीक्षण का वर्णन नहीं किया। उनके मुताबिक, सभी आठ क्षेत्रों में सुधार हुआ। अंतिम स्कोर, GPT-5.5 और GPT-5.6 Luna के मूल स्किल वाले नतीजों की बताई गई सीमा के भीतर था।
लेखकों ने संशोधित स्किल को अधिक सक्षम मॉडलों पर भी आजमाया और उन स्किल में आगे कोई बदलाव नहीं किया। संशोधित स्किल वाले 41 कार्यों में, दोबारा इस्तेमाल से Luna का स्कोर 10.5 प्रतिशत अंक बेहतर हुआ। मूल स्किल के साथ GPT-5.5 का स्कोर उसके प्रकाशित संदर्भ स्कोर से 10.6 अंक अधिक रहा। शोधपत्र के मुताबिक, विकास के दौरान कम स्कोर पाने वाले कुछ संस्करण आखिरकार इस्तेमाल के लिए चुने गए।
नतीजे क्या बताते हैं—और क्या नहीं
नतीजे बताते हैं कि कम सक्षम मॉडल के प्रयासों से ऐसे उपयोगी निर्देश बन सकते हैं जिन्हें अधिक सक्षम एजेंट इस्तेमाल करे, भले ही छोटा मॉडल खुद काम की कुछ जरूरतें पूरी न कर पाए। लेकिन मूल्यांकन में 86 खास बेंचमार्क कार्य ही शामिल हैं और अंतिम मूल्यांकन में स्किल विकसित करने के दौरान इस्तेमाल हुए कार्य-उदाहरणों को फिर से लिया गया। इसलिए शोधपत्र यह साबित नहीं करता कि यह तरीका अनजान कार्यों पर कितना कारगर होगा। उपलब्ध शोधपत्र-सारांश में मॉडलों की कीमत या उन तक पहुंच की जानकारी नहीं दी गई है।
यह क्यों मायने रखता है
काम-केंद्रित AI एजेंट बनाने वाली टीमों के लिए, ये नतीजे इस बात के सबूत देते हैं कि कम लागत वाला या कम सक्षम मॉडल ऐसे दोबारा इस्तेमाल होने वाले निर्देशों को बेहतर बनाने में मदद कर सकता है जिन्हें बाद में अधिक सक्षम मॉडल इस्तेमाल करे। बताए गए सुधार सिर्फ जांचे गए बेंचमार्क कार्यों तक सीमित हैं, इसलिए यह अभी अज्ञात है कि वे नए कार्यों पर भी लागू होंगे या नहीं।
