Un nouvel article publié sur arXiv présente SkillNEO, une méthode pour améliorer les consignes réutilisables — appelées « compétences » — que suivent les agents IA pour accomplir des tâches. Les auteurs indiquent que cette méthode a fait passer la récompense moyenne de GPT-5.4 Mini de 49.1% à 66.4% sur 86 tâches de SkillsBench réparties dans huit domaines, dont le génie logiciel et le travail de bureau.
La méthode s’attaque à un problème lié au fait de ne conserver que la version d’une compétence ayant obtenu le meilleur score : une version moins bien notée peut tout de même contenir une correction utile, qui doit être retravaillée avant de porter ses fruits. SkillNEO choisit séparément la version à utiliser et celles à continuer d’améliorer. En comparant des versions liées sur une même tâche, la méthode repère les étapes qui ont fonctionné et les échecs qui restent à corriger. Elle peut aussi revenir à une version antérieure et la réviser à partir d’éléments recueillis par la suite.
Pourquoi conserver une version moins performante ?
Dans le cadre de l’étude, GPT-5.4 Mini a réalisé les tâches, proposé des révisions et modifié les compétences. Les auteurs ont évalué les résultats finaux sur les mêmes instances de tâches que celles utilisées pendant l’évolution des compétences, sans décrire de test distinct sur de nouvelles tâches. Ils font état de progrès dans les huit domaines. Le score obtenu se situait dans la fourchette des résultats avec les compétences d’origine rapportés pour GPT-5.5 et GPT-5.6 Luna.
Les auteurs ont également testé les compétences modifiées avec des modèles plus puissants, sans les retoucher. Sur 41 tâches utilisant des compétences modifiées, leur réutilisation a amélioré le score de Luna de 10.5 points de pourcentage. GPT-5.5 a obtenu un score supérieur de 10.6 points à la référence publiée avec les compétences d’origine. Selon l’article, certaines versions moins bien notées pendant leur développement ont fini par être retenues pour être utilisées.
Ce que les résultats montrent — et ne montrent pas
Les résultats suggèrent que les tentatives d’un modèle moins performant peuvent produire des consignes utiles à un agent plus puissant, même si le modèle le plus petit ne respecte pas encore toutes les exigences de la tâche. Toutefois, l’évaluation porte sur un ensemble précis de 86 tâches de référence, et l’évaluation finale a réutilisé les instances de tâches employées lors du développement des compétences. L’article ne permet donc pas d’établir dans quelle mesure la méthode fonctionne sur des tâches inconnues. Le résumé fourni de l’article ne précise ni les tarifs ni les modalités d’accès aux modèles.
Pourquoi c'est important
Pour les équipes qui développent des agents IA spécialisés dans certaines tâches, ces résultats indiquent qu’un modèle moins puissant ou moins coûteux pourrait contribuer à affiner des consignes réutilisables ensuite par un modèle plus puissant. Les gains rapportés se limitent aux tâches de référence testées ; on ignore donc s’ils se retrouveraient sur de nouvelles tâches.
