2026年10月28日,腾讯公开了 HyperLogic 基准测试的代码仓库和数据集。该测试分为三个难度等级,考查中文逻辑推理能力;答案并非人工编写,而是通过逻辑求解器运行形式化模型得出。
此次公开的内容包括 69 道 Seed 题、59 道 Base 题和 30 道 Hard 题,以及评分工具和用于测试智能体解决 Hard 题目的沙盒环境。其余 70% 的题目仍未公开。在团队对 7 个模型进行的测试中,直接作答时没有一个模型在 Hard 题上的得分超过 16%;使用代码沙盒后,得分有所提高,但使用逻辑库取得的最高成绩也只有 57%。
为什么重要
研究人员可以利用公开的题目和工具测试推理系统,但要评估完整基准测试,仍需使用未公开的 70% 题目;保留这部分题目也有助于减少测试题泄露。