A Tencent tornou público o repositório e o conjunto de dados do benchmark HyperLogic em 28 de outubro de 2026. O teste avalia o raciocínio lógico em chinês em três níveis. As respostas são obtidas ao executar modelos formais em solucionadores lógicos, em vez de serem escritas manualmente.
A versão pública inclui 69 itens Seed, 59 Base e 30 Hard, além de ferramentas de pontuação e de um ambiente isolado para testar agentes em problemas Hard. Os outros 70% permanecem privados. Nos testes da equipe com sete modelos, nenhum obteve mais de 16% em Hard respondendo diretamente; o uso de um ambiente de execução de código elevou as pontuações, mas o melhor resultado foi de 57% com a biblioteca lógica.
Por que importa
Pesquisadores podem usar as questões e ferramentas liberadas para testar sistemas de raciocínio, mas os 70% privados são necessários para avaliar o benchmark completo e limitar a exposição dos itens de teste.
