Tencent offentliggjorde HyperLogics testarkiv och datamängd den 28 oktober 2026. Testet mäter logiskt resonemang på kinesiska i tre svårighetsnivåer. Svaren har tagits fram genom att köra formella modeller genom logiklösare, inte genom att skriva dem för hand.
Släppet innehåller 69 Seed-uppgifter, 59 Base-uppgifter och 30 Hard-uppgifter, samt verktyg för poängsättning och en sandlådemiljö där agenter kan testas på Hard-problem. De återstående 70 procenten hålls privata. I teamets tester av sju modeller fick ingen över 16 procent på Hard när de svarade direkt. Med en kodsandlåda blev resultaten bättre, men det högsta resultatet var 57 procent med logikbiblioteket.
Varför det spelar roll
Forskare kan använda de publicerade problemen och verktygen för att testa resonemangssystem, men den privata delen på 70 procent behövs för att utvärdera hela testet och begränsa exponeringen av testuppgifterna.
