Tencent hat das Repository und den Datensatz des HyperLogic-Benchmarks am 28. Oktober 2026 öffentlich zugänglich gemacht. Der Benchmark prüft logisches Denken auf Chinesisch in drei Schwierigkeitsstufen. Die Lösungen wurden mithilfe von Logik-Solvern aus formalen Modellen abgeleitet und nicht von Hand verfasst.
Die Veröffentlichung umfasst 69 Seed-Aufgaben, 59 Base-Aufgaben und 30 Hard-Aufgaben sowie Auswertungstools und eine Sandbox zum Testen von Agenten an Hard-Aufgaben. Die übrigen 70 % bleiben privat. In Tests des Teams mit sieben Modellen erzielte keines beim direkten Beantworten mehr als 16 % bei Hard-Aufgaben. Mit einer Code-Sandbox stiegen die Ergebnisse, doch selbst das beste Modell erreichte mit der Logikbibliothek nur 57 %.
Warum es wichtig ist
Forschende können die veröffentlichten Aufgaben und Tools nutzen, um Reasoning-Systeme zu testen. Für eine vollständige Bewertung des Benchmarks sind jedoch die privaten 70 % nötig; zugleich wird so verhindert, dass Testaufgaben zu stark offengelegt werden.
