مدل ۸ میلیاردی با کمک برنامه تخصصی به رقبای بزرگ‌تر می‌رسد

پژوهشگران روشی به نام PLVR معرفی کرده‌اند که ردپای گام‌به‌گام یک مدل معلم را به برنامه‌ای قابل‌استفادهٔ مجدد تبدیل می‌کند. این برنامه در کنار یک مدل زبانی کوچک و ثابت اجرا می‌شود—حتی مدلی با ۸ میلیارد پارامتر—و اقدامات آن را هدایت می‌کند. در مجموعه‌آزمون مخابرات، دقت مدل 8B Granite‑4.2 با استفاده از PLVR از ۴۳٪ به ۹۱٫۲٪ می‌رسد.

PLVR چگونه کار می‌کند

ابتدا مدل معلم Kimi‑K3 هنگام حل مسئله‌های استفاده از ابزار، ردپای استدلال خود را ثبت می‌کند. PLVR این ردپاها را خوشه‌بندی می‌کند تا عملیات تکرارشونده را بیابد. سپس برای هر عملیات، یک مدل «frontier» یک دستور ابتدایی کوتاه و نوع‌دار می‌نویسد که مدل کوچک و ثابت بتواند آن را اجرا کند. در ادامه، سامانه با استفاده از جست‌وجوی A* این دستورها را به هم پیوند می‌دهد و درستی اقدام نهایی را بهینه می‌کند. هنگام استنتاج، برنامه یا زنجیره‌ای از فکر را در اختیار مدل دانش‌آموز می‌گذارد تا از آن پیروی کند، یا هر اقدام پیشنهادی برای استفاده از ابزار را پیش از ارسال بررسی و اصلاح می‌کند.

نتایج در حوزه‌های مختلف

همین برنامه PLVR با سه مدل پایه Nemotron و مدل Granite‑4.2‑8B روی سه معیار سنجیده شد: مخابرات، خرده‌فروشی و LiveMCPBench (مجموعه‌ای برای ارزیابی مهارت‌های گام‌به‌گام استفاده از ابزار). در آزمون مخابرات، دقت همه مدل‌های Nemotron به ۹۳٫۳ تا ۹۴٫۴٪ رسید، درحالی‌که مدل 8B همراه با PLVR به دقت ۹۱٫۲٪ دست یافت و تنها چند واحد درصد عقب ماند. در خرده‌فروشی و LiveMCPBench، برنامه PLVR با بهترین نتایج پایه منتشرشده رقابت کرد، هرچند در معیار دوم ۳ تا ۱۳ واحد درصد عقب‌تر بود. این روش همچنین اختلاف عملکرد مدل‌های پایه را به‌طور میانگین از حدود هفت واحد درصد به حدود دو واحد درصد کاهش داد.