Tencent는 2026년 10월 28일 HyperLogic 벤치마크 저장소와 데이터셋을 공개했습니다. 이 벤치마크는 세 단계로 구성된 중국어 논리 추론 능력을 평가하며, 정답은 사람이 직접 작성한 것이 아니라 형식 모델을 논리 해결기에 적용해 도출했습니다.
이번 공개분에는 Seed 문항 69개, Base 문항 59개, Hard 문항 30개와 채점 도구, Hard 문제에서 에이전트를 시험할 수 있는 샌드박스 환경 설정이 포함됩니다. 나머지 70%는 비공개로 유지됩니다. 연구팀이 7개 모델을 시험한 결과, 직접 답변 방식으로 Hard에서 16%를 넘긴 모델은 없었습니다. 코드 샌드박스를 사용하면 점수가 올랐지만, 논리 라이브러리를 사용한 최고 점수도 57%였습니다.
왜 중요한가
연구자들은 공개된 문제와 도구를 활용해 추론 시스템을 시험할 수 있습니다. 다만 전체 벤치마크를 평가하고 시험 문항의 노출을 제한하려면 비공개 상태인 70%가 필요합니다.
