Des chercheurs proposent le Self-Assessment Reinforcement Learning (SARL), une méthode d’entraînement pour les modèles de langage qui recherchent des informations avant de répondre. Elle leur apprend à suivre ce qu’ils ont trouvé et ce qu’il leur reste à trouver, afin de réduire les raisonnements erronés et les recherches interrompues trop tôt.
Les auteurs font état d’une amélioration relative de 24,3 % par rapport à leur meilleur modèle de référence, et de gains moyens de 35,9 % en raisonnement à plusieurs étapes et de 27,9 % sur les benchmarks de recherche approfondie, par rapport aux meilleurs modèles de référence pour ces tâches. Selon eux, SARL ne nécessite aucune évaluation supplémentaire au moment de répondre ; le résumé de l’article ne précise pas quels modèles ont été testés ni ne donne assez de détails pour évaluer dans quelle mesure ces résultats s’appliquent aux outils de recherche déployés.
Pourquoi c'est important
Pour les équipes qui développent des assistants de recherche, SARL laisse penser qu’il est possible d’apprendre aux modèles à suivre leurs recherches pendant l’entraînement, plutôt que d’ajouter une étape distincte à l’utilisation. Mais le résumé ne permet pas de conclure que cette méthode serait utile dans des produits réels.
