Tencent publicó el repositorio y el conjunto de datos del benchmark HyperLogic el 28 de octubre de 2026. Evalúa el razonamiento lógico en chino en tres niveles, con respuestas obtenidas al ejecutar modelos formales mediante solucionadores lógicos, en lugar de redactarlas a mano.
La publicación incluye 69 ejercicios Seed, 59 Base y 30 Hard, además de herramientas de puntuación y un entorno aislado para probar agentes con los problemas Hard. El otro 70% sigue siendo privado. En las pruebas del equipo con siete modelos, ninguno superó el 16% en Hard al responder directamente; el uso de un entorno de ejecución de código elevó las puntuaciones, pero el mejor resultado fue del 57% con la biblioteca lógica.
Por qué importa
Los investigadores pueden usar los problemas y herramientas publicados para evaluar sistemas de razonamiento, pero se necesita el 70% privado para evaluar el benchmark completo y limitar la exposición de los ejercicios de prueba.
