Исследователи представили OpenDS-World — бенчмарк, который проверяет, умеют ли ИИ-агенты искать ответы в интернете с помощью поисковых систем, браузера и файлов разных форматов. В бенчмарк входят 200 заданий. Люди проверили доказательства и подтвердили, что у каждого задания только один правильный ответ.
В ходе оценки 12 моделей с одинаковым набором инструментов лучший результат составил 39,0%. Люди справились с 21,1% заданий из 1 000 попыток. В статье также отмечаются сохраняющиеся трудности с координацией инструментов и длительным поиском; в предоставленном резюме авторы не называют лучшую модель.
Почему это важно
Для исследователей, разрабатывающих агентов для поиска информации в интернете, OpenDS-World предлагает тест в условиях живого веба. Результаты показывают, что такие задания остаются сложными, но из резюме неясно, как эти баллы соотносятся с повседневным использованием.
