Oossa

Сбер представил открытый бенчмарк офисных ИИ-агентов

Cowork Bench содержит 475 офисных задач. В сравнении на одной открытой модели результаты решений различались от 62% до 80%, сообщила компания.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Сбербанк представил Cowork Bench — открытый русскоязычный бенчмарк, который проверяет, могут ли ИИ-агенты выполнять офисные процессы от начала до конца. В него вошли 475 задач из 12 бизнес-функций и 26 корпоративных систем: например, подготовка бюджетного отчёта с расчётами, презентацией и письмами.

Разработчики GigaCowork сравнили девять решений на одной открытой модели, с одинаковыми задачами и проверкой. По данным Сбербанка, доля выполненных задач составила от 62% до 80%; GigaCowork набрал 75,2%. Независимая проверка результатов в публикации не приводится.

Почему это важно

Разработчики и компании могут использовать открытый Cowork Bench, чтобы проверять собственных ИИ-агентов на рабочих процессах; условия доступа и независимое подтверждение результатов в публикации не указаны.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.