विशेष प्रोग्राम के साथ छोटा 8B मॉडल बड़े प्रतिद्वंद्वियों के बराबर

शोधकर्ताओं ने PLVR नाम की एक तकनीक पेश की है, जो शिक्षक मॉडल के चरण-दर-चरण ट्रेस को दोबारा इस्तेमाल किए जा सकने वाले प्रोग्राम में बदलती है। यह प्रोग्राम एक छोटे, स्थिर भाषा मॉडल—यहां तक कि 8 अरब पैरामीटर वाले मॉडल—के साथ चलता है और उसे काम करने के तरीके बताता है। टेलीकॉम टेस्ट सेट पर PLVR के साथ इस्तेमाल करने पर 8B Granite‑4.2 मॉडल की सटीकता 43% से बढ़कर 91.2% हो जाती है।

PLVR कैसे काम करता है

सबसे पहले, शिक्षक मॉडल Kimi‑K3 टूल-यूज़ से जुड़ी समस्याएं हल करते समय अपने तर्क के ट्रेस दर्ज करता है। PLVR इन ट्रेस को समूहों में बांटकर बार-बार होने वाली प्रक्रियाओं की पहचान करता है। हर प्रक्रिया के लिए एक “फ्रंटियर” मॉडल छोटा, टाइप्ड प्रिमिटिव लिखता है, जिसे छोटा स्थिर मॉडल चला सकता है। इसके बाद सिस्टम A* सर्च के जरिए प्रिमिटिव को जोड़ता है और सही अंतिम कार्रवाई को लक्ष्य बनाता है। अनुमान के दौरान प्रोग्राम या तो छात्र मॉडल को अपनाने के लिए चरण-दर-चरण तर्क देता है, या उसके सुझाए हर टूल एक्शन को भेजे जाने से पहले जांचकर सुधारता है।

अलग-अलग क्षेत्रों में नतीजे

एक ही PLVR प्रोग्राम को तीन Nemotron बेस मॉडल और Granite‑4.2‑8B के साथ तीन बेंचमार्क—टेलीकॉम, रिटेल और LiveMCPBench (टूल इस्तेमाल करने की प्रक्रियाओं से जुड़ा बेंचमार्क)—पर आजमाया गया। टेलीकॉम पर हर Nemotron मॉडल ने 93.3‑94.4% सटीकता हासिल की, जबकि PLVR के साथ 8B मॉडल 91.2% तक पहुंचा—यानी कुछ ही अंक पीछे। रिटेल और LiveMCPBench पर PLVR प्रोग्राम प्रकाशित सर्वोत्तम नतीजों के मुकाबले प्रतिस्पर्धी रहा, हालांकि LiveMCPBench पर वह 3‑13 अंक पीछे था। इस तरीके ने बेस मॉडलों के प्रदर्शन के बीच का अंतर भी औसतन करीब सात अंक से घटाकर करीब दो अंक कर दिया।