Google Research ने Harness2 जारी किया है। यह एक ओपन-सोर्स फ्रेमवर्क है, जो परीक्षण के समय AI एजेंट के हार्नेस को बदलता है। हार्नेस वह व्यवस्था है जो किसी मॉडल को काम पूरा करने में मदद करती है; स्रोत यह नहीं बताता कि Harness2 इसके किन हिस्सों को बदलता है या यह बदलाव कैसे करता है।
MarkTechPost के मुताबिक, एक सुधार चरण के बाद WorkBuddy-Bench पर GLM-5 का स्कोर 11.5 अंक बढ़ा और मॉडल के वेट में कोई बदलाव नहीं किया गया। इससे संकेत मिलता है कि बताया गया सुधार मूल मॉडल को दोबारा प्रशिक्षित करने के बजाय एजेंट की व्यवस्था बदलने से आया। लेख में शुरुआती स्कोर, परीक्षण की रूपरेखा या बेंचमार्क चलाने वाले समूह का नाम नहीं दिया गया है, इसलिए उपलब्ध जानकारी के आधार पर नतीजे का स्वतंत्र आकलन नहीं किया जा सकता।
इस रिलीज़ से डेवलपर क्या जान सकते हैं
Harness2 को Apache-2.0 लाइसेंस के तहत जारी किया गया है। इसकी शर्तों के तहत डेवलपर सॉफ्टवेयर का इस्तेमाल, उसमें बदलाव और उसे साझा कर सकते हैं। इससे शोध टीमों और अन्य डेवलपर को केवल इसके विवरण पर निर्भर रहने के बजाय फ्रेमवर्क की पड़ताल करने का रास्ता मिलता है।
घोषणा का दायरा सीमित है: इसमें एक मॉडल, एक बेंचमार्क और एक सुधार चरण का ज़िक्र है। यह नहीं बताया गया कि दूसरे मॉडल या कामों में भी यह बढ़त मिलती है या नहीं, इस तरीके के लिए कितने कंप्यूटिंग संसाधनों की ज़रूरत है, या फ्रेमवर्क रोज़मर्रा के इस्तेमाल के लिए तैयार है या नहीं। डेवलपर Harness2 से अपने एजेंट बेहतर हो सकते हैं या नहीं, यह तय करने से पहले इन बातों का जानना ज़रूरी है।
यह क्यों मायने रखता है
AI डेवलपर Apache-2.0 लाइसेंस के तहत Harness2 की पड़ताल और उसमें बदलाव कर सकते हैं। बताया गया नतीजा यह संकेत देता है कि मॉडल को दोबारा प्रशिक्षित किए बिना भी एजेंट की व्यवस्था बेंचमार्क स्कोर को प्रभावित कर सकती है। लेकिन स्रोत में परीक्षण का विवरण या दूसरे मॉडल और कामों में इस बढ़त के बने रहने का कोई प्रमाण नहीं है, इसलिए इसका व्यावहारिक महत्व अभी अनिश्चित है।
