Oossa

腾讯开放 HyperLogic 推理基准部分题目

腾讯公开了 HyperLogic 30% 的中文逻辑题,以及答案和评测工具,其余题目仍未公开。

简讯作者: Oossa 发布日期: 1 分钟阅读

2026年10月28日,腾讯公开了 HyperLogic 基准测试的代码仓库和数据集。该测试分为三个难度等级,考查中文逻辑推理能力;答案并非人工编写,而是通过逻辑求解器运行形式化模型得出。

此次公开的内容包括 69 道 Seed 题、59 道 Base 题和 30 道 Hard 题,以及评分工具和用于测试智能体解决 Hard 题目的沙盒环境。其余 70% 的题目仍未公开。在团队对 7 个模型进行的测试中,直接作答时没有一个模型在 Hard 题上的得分超过 16%;使用代码沙盒后,得分有所提高,但使用逻辑库取得的最高成绩也只有 57%。

为什么重要

研究人员可以利用公开的题目和工具测试推理系统,但要评估完整基准测试,仍需使用未公开的 70% 题目;保留这部分题目也有助于减少测试题泄露。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。