Onderzoekers hebben PLVR uitgebracht, een techniek die de stapsgewijze redeneertrajecten van een teacher omzet in een herbruikbaar programma. Dat programma werkt naast een bevroren klein taalmodel – zelfs een model met 8 miljard parameters – en stuurt de acties ervan aan. Op de telecomtest stijgt de nauwkeurigheid van het 8B-model Granite‑4.2 van 43% naar 91,2% met PLVR.
Hoe PLVR werkt
Eerst legt het teachermodel Kimi‑K3 zijn redeneertrajecten vast terwijl het problemen oplost waarbij tools worden gebruikt. PLVR groepeert die trajecten om terugkerende handelingen te vinden. Voor elke handeling schrijft een ‘frontier’-model een korte, getypeerde primitieve die een klein, bevroren model kan uitvoeren. Vervolgens voegt het systeem de primitieven samen met behulp van A*-zoekalgoritme, waarbij het de juiste eindactie probeert te vinden. Tijdens het uitvoeren geeft het programma het studentmodel óf een redeneerlijn om te volgen, óf controleert en herstelt het elke voorgestelde toolactie voordat die wordt uitgevoerd.
Resultaten in verschillende domeinen
Hetzelfde PLVR-programma is getest met drie Nemotron-basismodellen en Granite‑4.2‑8B op drie benchmarks: telecom, retail en LiveMCPBench (een testreeks voor procedureel toolgebruik). Op telecom haalden alle Nemotron-modellen een nauwkeurigheid van 93,3‑94,4%, terwijl het 8B-model met PLVR op 91,2% uitkwam – slechts enkele procentpunten lager. Op retail en LiveMCPBench bleef het PLVR-programma concurrerend met de beste gepubliceerde referentieresultaten, al bleef het op die laatste benchmark 3‑13 punten achter. Ook verkleinde de methode het prestatieverschil tussen basismodellen: gemiddeld van ongeveer zeven naar ongeveer twee punten.
Waarom het ertoe doet
Voor ontwikkelaars die assistenten bouwen die tools gebruiken, laat PLVR zien dat een relatief goedkoop 8B-model bijna even goed kan presteren als veel grotere modellen wanneer een expliciet programma het aanstuurt. Dat kan de rekenkosten verlagen en zulke assistenten toegankelijker maken. De aanpak blijft echter afhankelijk van hoogwaardige teacher-trajecten en de resultaten kunnen per domein verschillen.
