Tencent a rendu publics le dépôt et le jeu de données du benchmark HyperLogic le 28 octobre 2026. Celui-ci évalue le raisonnement logique en chinois à trois niveaux. Les réponses sont générées en faisant passer des modèles formels dans des solveurs logiques, plutôt que rédigées à la main.
La publication comprend 69 questions Seed, 59 Base et 30 Hard, ainsi que des outils de notation et un environnement isolé permettant de tester des agents sur les problèmes Hard. Les 70 % restants restent privés. Lors des tests menés par l’équipe sur sept modèles, aucun n’a obtenu plus de 16 % sur les problèmes Hard en répondant directement. Le recours à un environnement de programmation a amélioré les scores, mais le meilleur résultat n’a été que de 57 % avec la bibliothèque logique.
Pourquoi c'est important
Les chercheurs peuvent utiliser les problèmes et les outils publiés pour évaluer les systèmes de raisonnement. Toutefois, les 70 % gardés privés sont nécessaires pour évaluer le benchmark dans son intégralité et limiter l’exposition des questions de test.
