Un equipo de investigadores presentó una técnica llamada PLVR que convierte las trazas paso a paso de un modelo profesor en un programa reutilizable. El programa funciona junto con un modelo de lenguaje pequeño cuyos parámetros permanecen congelados —incluso uno de 8.000 millones de parámetros— y guía sus acciones. En el conjunto de pruebas de telecomunicaciones, el modelo Granite-4.2 de 8B pasa del 43% al 91,2% de precisión al usar PLVR.
Cómo funciona PLVR
Primero, el modelo profesor Kimi-K3 registra sus trazas de razonamiento mientras resuelve problemas de uso de herramientas. PLVR agrupa esas trazas para detectar operaciones que se repiten. Para cada operación, un modelo «frontera» redacta una primitiva breve y tipada que puede ejecutar un modelo pequeño con parámetros congelados. Luego, el sistema enlaza las primitivas mediante una búsqueda A*, con el objetivo de encontrar la acción final correcta. Durante la inferencia, el programa proporciona al modelo estudiante una cadena de razonamiento para que la siga, o bien comprueba y corrige cada acción propuesta antes de enviarla.
Resultados en distintos ámbitos
El mismo programa PLVR se probó con tres modelos base Nemotron y con Granite-4.2-8B en tres benchmarks: telecomunicaciones, comercio minorista y LiveMCPBench (un conjunto de pruebas procedimentales de uso de herramientas). En telecomunicaciones, todos los modelos Nemotron alcanzaron una precisión del 93,3-94,4%, mientras que el modelo de 8B con PLVR llegó al 91,2%, a solo unos puntos de distancia. En comercio minorista y LiveMCPBench, el programa PLVR se mantuvo a la altura de las mejores referencias publicadas, aunque en este último quedó entre 3 y 13 puntos por debajo. El método también redujo, en promedio, de unos siete a unos dos puntos la diferencia de rendimiento entre los modelos base.
Por qué importa
Para quienes desarrollan asistentes que usan herramientas, PLVR demuestra que un modelo de 8B relativamente económico puede rendir casi tan bien como modelos mucho mayores si lo guía un programa explícito. Esto podría reducir los costos de computación y facilitar el acceso a este tipo de asistentes, aunque el método sigue dependiendo de trazas de alta calidad generadas por un modelo profesor y su rendimiento puede variar según el ámbito.
