گوگل ریسرچ Harness2 را منتشر کرده است؛ چارچوبی متن‌باز که هنگام آزمون، چارچوب اجرایی یک عامل هوش مصنوعی را تغییر می‌دهد. منظور از چارچوب اجرایی، مجموعه‌ای از اجزای پیرامونی است که به مدل در انجام یک وظیفه کمک می‌کند؛ منبع دقیقاً توضیح نمی‌دهد Harness2 کدام بخش‌ها را بازنویسی می‌کند یا این کار را چگونه انجام می‌دهد.
به گزارش MarkTechPost، یک مرحله اصلاح باعث شد امتیاز GLM-5 در WorkBuddy-Bench به‌اندازه 11.5 امتیاز افزایش یابد، بی‌آنکه وزن‌های مدل به‌روزرسانی شوند. این موضوع نشان می‌دهد بهبود گزارش‌شده احتمالاً حاصل تغییر در چارچوب عامل بوده، نه آموزش دوباره مدل پایه. مقاله امتیاز اولیه، پیکربندی آزمون یا گروهی را که بنچمارک را اجرا کرده، اعلام نمی‌کند؛ بنابراین نمی‌توان نتیجه را بر اساس اطلاعات موجود مستقلاً ارزیابی کرد.
این انتشار چه معنایی برای توسعه‌دهندگان دارد؟
Harness2 با مجوز Apache-2.0 منتشر شده است. این مجوز به توسعه‌دهندگان اجازه می‌دهد با رعایت شرایط آن، از نرم‌افزار استفاده کنند، آن را تغییر دهند و به اشتراک بگذارند؛ در نتیجه گروه‌های پژوهشی و دیگر توسعه‌دهندگان می‌توانند خود چارچوب را بررسی کنند و فقط به توضیحات آن متکی نباشند.
این اعلامیه دامنه محدودی دارد: از یک مدل، یک بنچمارک و یک مرحله اصلاح می‌گوید. مشخص نمی‌کند که آیا این افزایش امتیاز برای مدل‌ها یا وظایف دیگر هم تکرار می‌شود، این روش به چه منابع پردازشی نیاز دارد یا چارچوب برای استفاده معمول آماده است یا نه. توسعه‌دهندگان برای ارزیابی اینکه Harness2 می‌تواند عامل‌های خودشان را بهبود دهد یا خیر، به این اطلاعات نیاز دارند.
چرا مهم است
توسعه‌دهندگان هوش مصنوعی می‌توانند با مجوز Apache-2.0، Harness2 را بررسی و با نیازهای خود سازگار کنند. نتیجه گزارش‌شده نیز نشان می‌دهد چارچوب اجرایی عامل می‌تواند حتی بدون آموزش دوباره مدل بر امتیازهای بنچمارک اثر بگذارد. بااین‌حال، منبع جزئیات آزمون یا شواهدی ارائه نمی‌دهد که این افزایش برای مدل‌ها یا وظایف دیگر هم تکرار شود؛ بنابراین ارزش عملی آن هنوز مشخص نیست.
