I ricercatori hanno presentato PLVR, una tecnica che trasforma le tracce passo passo di un modello insegnante in un programma riutilizzabile. Il programma opera insieme a un modello linguistico di piccole dimensioni, i cui parametri restano invariati — anche se ha 8 miliardi di parametri — e ne guida le azioni. Sul set di test delle telecomunicazioni, il modello Granite‑4.2 da 8B passa dal 43% al 91,2% di accuratezza con PLVR.
Come funziona PLVR
Per prima cosa, il modello insegnante Kimi‑K3 registra le proprie tracce di ragionamento mentre risolve problemi che richiedono l’uso di strumenti. PLVR raggruppa le tracce per individuare le operazioni ricorrenti. Per ciascuna operazione, un modello «frontier» scrive una breve primitiva tipizzata, eseguibile da un modello più piccolo con parametri bloccati. Il sistema combina poi le primitive con una ricerca A*, ottimizzando la scelta dell’azione finale corretta. Durante l’inferenza, il programma fornisce al modello studente una catena di ragionamento da seguire oppure verifica e corregge ogni azione proposta prima di inviarla allo strumento.
Risultati in diversi ambiti
Lo stesso programma PLVR è stato testato con tre modelli base Nemotron e con Granite‑4.2‑8B su tre benchmark: telecomunicazioni, vendita al dettaglio e LiveMCPBench (una suite di test procedurali sull’uso degli strumenti). Nel test sulle telecomunicazioni, tutti i modelli Nemotron hanno raggiunto un’accuratezza del 93,3‑94,4%, mentre il modello 8B con PLVR ha ottenuto il 91,2%, a pochi punti di distanza. Nei test sul retail e su LiveMCPBench, il programma PLVR è rimasto competitivo rispetto ai migliori risultati pubblicati, anche se nel secondo benchmark è rimasto indietro di 3‑13 punti. Il metodo ha inoltre ridotto da circa sette a circa due punti, in media, la differenza di prestazioni tra i modelli base.
Perché conta
Per chi sviluppa assistenti basati sull’uso di strumenti, PLVR dimostra che un modello 8B relativamente economico può avvicinarsi alle prestazioni di modelli molto più grandi se guidato da un programma esplicito. Questo potrebbe ridurre i costi di calcolo e rendere tali assistenti più accessibili, anche se il metodo dipende ancora da tracce di alta qualità del modello insegnante e i risultati possono variare a seconda dell’ambito.
