Forschende haben mit PLVR eine Methode vorgestellt, die Schritt-für-Schritt-Spuren eines Lehrermodells in ein wiederverwendbares Programm umwandelt. Dieses Programm läuft parallel zu einem eingefrorenen kleinen Sprachmodell – sogar zu einem mit 8 Milliarden Parametern – und steuert dessen Aktionen. Im Telekommunikations-Test steigt die Genauigkeit des 8B-Modells Granite‑4.2 mit PLVR von 43 % auf 91,2 %.
So funktioniert PLVR
Zunächst zeichnet das Lehrermodell Kimi‑K3 seine Denkschritte auf, während es Aufgaben zur Tool-Nutzung löst. PLVR gruppiert diese Spuren, um wiederkehrende Abläufe zu finden. Für jeden Ablauf erstellt ein „Frontier“-Modell ein kurzes, typisiertes Grundelement, das ein kleines, eingefrorenes Modell ausführen kann. Anschließend setzt das System die Grundelemente mithilfe einer A*-Suche zusammen und optimiert dabei auf die richtige abschließende Aktion. Bei der Inferenz liefert das Programm entweder eine Gedankenkette, an der sich das kleinere Modell orientieren kann, oder prüft und korrigiert jeden vorgeschlagenen Tool-Aufruf, bevor er ausgeführt wird.
Ergebnisse in verschiedenen Bereichen
Dasselbe PLVR-Programm wurde mit drei Nemotron-Basismodellen und Granite‑4.2‑8B auf drei Benchmarks getestet: Telekommunikation, Einzelhandel und LiveMCPBench (einer Testsuite für prozedurale Tool-Nutzung). Im Telekommunikations-Benchmark erreichten alle Nemotron-Modelle eine Genauigkeit von 93,3–94,4 %, während das 8B-Modell mit PLVR auf 91,2 % kam – nur wenige Prozentpunkte weniger. Im Einzelhandel und bei LiveMCPBench blieb das PLVR-Programm konkurrenzfähig mit den besten veröffentlichten Vergleichswerten, lag bei Letzterem jedoch um 3–13 Punkte zurück. Außerdem verringerte die Methode den Leistungsabstand zwischen den Basismodellen im Durchschnitt von etwa sieben auf etwa zwei Punkte.
Warum es wichtig ist
Für Entwicklerinnen und Entwickler von Assistenten mit Tool-Nutzung zeigt PLVR, dass ein vergleichsweise günstiges 8B-Modell mit Unterstützung durch ein explizites Programm fast so leistungsfähig sein kann wie deutlich größere Modelle. Das könnte Rechenkosten senken und solche Assistenten leichter zugänglich machen. Der Ansatz ist jedoch weiterhin auf hochwertige Spuren des Lehrermodells angewiesen und kann je nach Einsatzbereich unterschiedlich gut funktionieren.
