Oossa

METR добавила открытые задачи в график прогресса ИИ

Обновлённый график некоммерческой организации показывает: на простых задачах возможности ИИ по-прежнему удваиваются каждые четыре месяца, но модели отстают в работе, требующей суждений, например при разработке исследований.

Автор: Опубликовано Oossa: 2 мин чтения

铮 夏 · Unsplash

Как сообщает MIT Technology Review, некоммерческая организация METR, оценивающая ИИ, выпустила обновлённую версию графика временного горизонта. В неё добавили задачи, выполнение которых занимает у людей гораздо больше времени и требует большего участия суждений, например разработку методов оценки ИИ или анализ философских аргументов. В широко разошедшемся первоначальном графике прогресс измеряли тем, сколько времени человеку потребовалось бы на выполнение задачи. Он показывал, что каждые четыре месяца передовые модели удваивают сложность задач, с которыми способны справиться. В обновлённой версии эта тенденция сохраняется для простых задач с легко проверяемым результатом, например программирования и математики, но также заметен растущий разрыв при выполнении задач с открытым результатом. Новые задачи призваны проверить способности, важные для автоматизации исследований и разработок. При разработке методов оценки даже самые продвинутые модели показали результат лишь «чуть выше порогового уровня» и всё ещё не были достаточно полезны для сотрудников METR. В задании с философскими аргументами модели также уступили экспертам-людям. Цитируемые в статье исследователи говорят, что результаты неудивительны: предыдущие работы показали, что ИИ пока не способен самостоятельно воспроизводить исследования в области информатики, выполненные людьми. Сотрудники METR отмечают, что оценивать результаты на таких задачах сложно. Для многих новых заданий фактическое тестирование заменили оценками времени, которое потребовалось бы человеку: оплата сотен часов работы обходится дорого. Поэтому в отчёте меньше задач, требующих суждений, а сами данные названы менее надёжными, чем в первоначальном наборе. Такие эксперты, как Саяш Капур из Калифорнийского университета в Беркли и Найонджун Ким из Бостонского университета, считают включение этих задач позитивным шагом, но предупреждают: тенденции в способностях, которые трудно измерить, будут оставаться неустойчивыми. В целом обновлённый график подтверждает быстрый прогресс в задачах, где успех легко проверить, тогда как развитие способностей, связанных с вынесением суждений, пока остаётся неубедительным. График, вероятно, повлияет на представления сообщества о сроках автоматизации исследований и разработок с помощью ИИ.

Почему важны новые задачи

Чтобы ИИ мог помогать разрабатывать эксперименты или писать исследовательские предложения, ему нужно справляться с задачами, которые нельзя проверить простым тестом «прошёл или не прошёл». Обновлённый график METR показывает, что нынешние модели всё ещё уступают людям в таких задачах. Это говорит о том, что полностью автоматизированные исследования с помощью ИИ появятся не скоро. Компаниям, рассчитывающим ускорить разработку продуктов с помощью ИИ, этот разрыв показывает: не стоит ждать немедленных результатов от использования ИИ при принятии стратегических решений высокого уровня. Пока технология надёжнее всего справляется с конкретной работой, результат которой легко проверить, например с генерацией кода или анализом данных.

Почему это важно

Для обычных пользователей обновление означает, что ИИ-инструменты продолжат совершенствоваться в решении однозначных задач, например в программировании, но пока не готовы заменить человеческое суждение при планировании исследований или философских рассуждениях. Компаниям стоит и дальше использовать ИИ для автоматизации рутинных задач, оставляя за людьми стратегические решения.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.