Il 28 ottobre 2026 Tencent ha reso pubblici il repository e il dataset del benchmark HyperLogic. Il test valuta il ragionamento logico in cinese su tre livelli; le soluzioni sono state ricavate eseguendo modelli formali con solver logici, anziché essere scritte a mano.
La pubblicazione comprende 69 quesiti Seed, 59 Base e 30 Hard, oltre a strumenti di valutazione e a un ambiente sandbox per testare gli agenti sui problemi Hard. Il restante 70% rimane riservato. Nei test del team su sette modelli, nessuno ha superato il 16% nei problemi Hard rispondendo direttamente; l’uso di una sandbox per l’esecuzione del codice ha migliorato i risultati, ma il punteggio più alto è stato del 57% con la libreria logica.
Perché conta
Ricercatori e ricercatrici possono usare i problemi e gli strumenti pubblicati per mettere alla prova i sistemi di ragionamento. Per valutare il benchmark nella sua interezza e limitare l’esposizione dei quesiti, però, è necessario il 70% che resta riservato.
