Forskare har presenterat en teknik kallad PLVR, som omvandlar en lärares stegvisa resonemang till ett program som kan återanvändas. Programmet körs tillsammans med en fryst, mindre språkmodell – även en modell med 8 miljarder parametrar – och vägleder dess handlingar. På telekomtestet ökar träffsäkerheten för 8B-modellen Granite‑4.2 från 43 % till 91,2 % med PLVR.
Så fungerar PLVR
Först registrerar lärarmodellen Kimi‑K3 sina resonemangsspår när den löser uppgifter som kräver verktygsanvändning. PLVR grupperar spåren för att hitta återkommande moment. För varje moment skriver en ”frontier”-modell en kort, typad grundfunktion som en liten, fryst modell kan köra. Därefter fogar systemet ihop grundfunktionerna med hjälp av A*-sökning och optimerar för att hitta rätt slutåtgärd. Vid inferens ger programmet antingen studentmodellen en tankekedja att följa eller kontrollerar och rättar varje föreslagen verktygsåtgärd innan den skickas iväg.
Resultat inom olika områden
Samma PLVR-program testades med tre grundmodeller från Nemotron och Granite‑4.2‑8B på tre benchmarktester: telekom, detaljhandel och LiveMCPBench (ett test av verktygsanvändning i flera steg). Inom telekom nådde alla Nemotron-modeller 93,3–94,4 % träffsäkerhet, medan 8B-modellen med PLVR nådde 91,2 % – bara några procentenheter lägre. Inom detaljhandel och på LiveMCPBench stod sig PLVR-programmet väl mot de bästa publicerade baslinjerna, även om det låg 3–13 procentenheter efter på det senare testet. Metoden minskade också skillnaderna i prestanda mellan grundmodellerna: från ungefär sju procentenheter till i genomsnitt ungefär två.
Varför det spelar roll
För utvecklare som bygger assistenter med verktygsanvändning visar PLVR att en relativt billig 8B-modell kan prestera nästan lika bra som betydligt större modeller när den vägleds av ett uttryckligt program. Det kan sänka beräkningskostnaderna och göra sådana assistenter mer tillgängliga, men metoden är fortfarande beroende av högkvalitativa spår från lärarmodellen och resultaten kan variera mellan olika områden.
