Tencent heeft het HyperLogic-benchmarkarchief en de dataset op 28 oktober 2026 openbaar gemaakt. De benchmark test Chinees logisch redeneren op drie niveaus. De antwoorden zijn afgeleid door formele modellen met logicaoplossers uit te voeren, in plaats van ze met de hand te schrijven.
De release bevat 69 Seed-opgaven, 59 Base-opgaven en 30 Hard-opgaven, plus scoretools en een sandboxomgeving om agents op Hard-opgaven te testen. De overige 70% blijft privé. In tests van het team met zeven modellen scoorde geen enkel model hoger dan 16% op Hard wanneer het de vragen rechtstreeks beantwoordde. Met een codesandbox gingen de scores omhoog, maar het beste resultaat was 57% met de logica-bibliotheek.
Waarom het ertoe doet
Onderzoekers kunnen de vrijgegeven opgaven en tools gebruiken om redeneersystemen te testen. Voor evaluatie op de volledige benchmark zijn de privé gehouden 70% nodig; die beperking helpt ook voorkomen dat testopgaven uitlekken.
