28 октября 2026 года Tencent открыла репозиторий бенчмарка HyperLogic и набор данных. Он проверяет логическое мышление на китайском языке на трёх уровнях сложности. Ответы получили, прогоняя формальные модели через логические решатели, а не составляя их вручную.
В открытый набор вошли 69 заданий Seed, 59 заданий Base и 30 заданий Hard, а также инструменты для оценки и настройка песочницы для проверки агентов на сложных задачах. Остальные 70% заданий остаются закрытыми. В испытаниях команды на семи моделях ни одна не набрала больше 16% на Hard при ответах без вспомогательных средств. Использование песочницы с кодом повысило результаты, но лучший показатель с логической библиотекой составил 57%.
Почему это важно
Исследователи могут использовать опубликованные задачи и инструменты для проверки систем логического мышления. Однако для оценки по всему бенчмарку нужны закрытые 70% заданий — это также помогает ограничить раскрытие тестовых задач.
