Google Research a publié Harness2, un framework open source qui modifie le dispositif d’un agent d’IA au moment du test. Ce dispositif désigne l’environnement qui aide un modèle à accomplir une tâche ; la source ne précise pas exactement quels éléments Harness2 réécrit ni comment il procède.
Selon MarkTechPost, une seule étape d’amélioration a fait progresser le score de GLM-5 de 11,5 points sur WorkBuddy-Bench, sans mise à jour des poids du modèle. Cela laisse penser que le gain annoncé vient d’une modification de la configuration de l’agent, et non d’un nouvel entraînement du modèle sous-jacent. L’article ne précise ni le score initial, ni la configuration du test, ni l’équipe qui a réalisé le benchmark : les informations fournies ne permettent donc pas d’évaluer le résultat de manière indépendante.
Ce que cette publication apporte aux développeurs
Harness2 est publié sous licence Apache-2.0. Celle-ci autorise les développeurs à utiliser, modifier et partager le logiciel, sous réserve de ses conditions. Les équipes de recherche et les autres développeurs peuvent ainsi examiner le framework au lieu de se fier à sa seule description.
L’annonce reste limitée : elle porte sur un modèle, un benchmark et une étape d’amélioration. Elle ne précise pas si le gain se retrouve avec d’autres modèles ou d’autres tâches, quelles ressources de calcul la méthode exige, ni si le framework est prêt pour un usage régulier. Ces éléments sont essentiels pour déterminer si Harness2 peut améliorer les agents des développeurs.
Pourquoi c'est important
Les développeurs en IA peuvent examiner et adapter Harness2 sous licence Apache-2.0. Le résultat annoncé laisse penser que la configuration d’un agent peut influer sur ses scores de benchmark, même sans réentraîner le modèle. Mais la source ne fournit aucun détail sur le test ni aucune preuve que le gain se retrouve avec d’autres modèles ou tâches : son intérêt pratique reste donc incertain.
