Tencentは2026年10月28日、HyperLogicのベンチマーク用リポジトリとデータセットを公開した。3段階に分けて中国語の論理推論能力を測るもので、解答は人手で作成するのではなく、形式モデルを論理ソルバーで実行して導き出している。
今回の公開分にはSeedが69問、Baseが59問、Hardが30問含まれるほか、採点ツールと、Hardの問題でエージェントをテストするためのサンドボックス環境も含まれる。残りの70％は非公開だ。チームが7つのモデルをテストしたところ、直接解答する方法ではHardの正答率がいずれも16％を超えなかった。コードサンドボックスを使うとスコアは上がったが、論理ライブラリを使った場合でも最高は57％だった。
なぜ重要か
公開された問題とツールを使えば、研究者は推論システムをテストできる。一方、ベンチマーク全体を評価し、テスト問題が広く知られるのを防ぐには、非公開の70％が必要となる。
