Исследователи представили бенчмарк Into the Unknown 15 октября 2026 года. ИИ-агенту предлагают научную статью и направление для дальнейших исследований, предоставленное лабораторией Министерства энергетики США (DOE), а затем просят подготовить продолжение работы. Девять передовых ИИ-агентов подготовили по 15 черновиков в таких областях, как квантовые вычисления и материаловедение. Ни один не выполнил все условия учёных, а 114 черновиков не прошли проверку на достоверность из-за несоответствий в утверждениях или данных. Код и данные доступны всем желающим.
Почему это важно
Бенчмарк показывает, что современные ИИ-агенты могут создавать правдоподобные черновики научных работ, но пока не соответствуют научным стандартам. Это подчёркивает, насколько ещё нужно развивать такие инструменты.
