Des chercheurs ont présenté PLVR, une technique qui transforme les traces détaillées d’un modèle enseignant en un programme réutilisable. Celui-ci fonctionne avec un petit modèle de langage figé — même un modèle de 8 milliards de paramètres — et guide ses actions. Sur le jeu de test télécom, le modèle Granite‑4.2 8B passe de 43 % à 91,2 % de précision avec PLVR.
Fonctionnement de PLVR
Le modèle enseignant Kimi‑K3 enregistre d’abord ses traces de raisonnement lorsqu’il résout des problèmes faisant appel à des outils. PLVR regroupe ces traces pour repérer les opérations récurrentes. Pour chaque opération, un modèle « frontier » écrit une courte primitive typée qu’un petit modèle figé peut exécuter. Le système assemble ensuite ces primitives à l’aide d’une recherche A*, en optimisant le choix de l’action finale. À l’inférence, le programme fournit soit une chaîne de raisonnement que le modèle élève doit suivre, soit vérifie et corrige chaque action proposée avant de l’envoyer à l’outil.
Résultats dans différents domaines
Le même programme PLVR a été testé avec trois modèles de base Nemotron et avec Granite‑4.2‑8B sur trois benchmarks : télécom, commerce de détail et LiveMCPBench (une suite de tests portant sur l’utilisation procédurale d’outils). Dans le domaine des télécoms, tous les modèles Nemotron ont atteint une précision de 93,3 à 94,4 %, tandis que le modèle 8B avec PLVR a obtenu 91,2 %, à seulement quelques points de moins. Pour le commerce de détail et LiveMCPBench, le programme PLVR est resté compétitif par rapport aux meilleurs résultats publiés, même s’il accusait un retard de 3 à 13 points sur ce dernier. La méthode a également réduit l’écart de performance entre les modèles de base : d’environ sept points à deux points en moyenne.
Pourquoi c'est important
Pour les développeurs d’assistants capables d’utiliser des outils, PLVR montre qu’un modèle 8B relativement peu coûteux peut presque égaler des modèles bien plus grands lorsqu’il est guidé par un programme explicite. Cela pourrait réduire les coûts de calcul et rendre ces assistants plus accessibles, même si l’approche dépend toujours de traces de qualité produites par un modèle enseignant et que ses résultats peuvent varier selon le domaine.
