Заметка · 1 мин чтения
mu-bench проверяет точность распознавания речи на пяти языках
Исследователи представили бенчмарк на основе звонков ИИ-агенту банковской службы. Он оценивает, сохраняют ли расшифровки смысл сказанного, а не только совпадают ли дословно с произнесёнными словами.
Oossa · О проекте Oossa
Новый бенчмарк под названием mu-bench оценивает, насколько хорошо системы распознавания речи расшифровывают звонки, в которых люди сообщают такие данные, как имена, адреса электронной почты и коды подтверждения. В него вошли 4 270 высказываний из 250 звонков ИИ-агенту банка на английском, испанском, турецком, вьетнамском и китайском языках (мандаринский вариант).
Исследователи также предложили показатель Utterance Error Rate, при расчёте которого ИИ-оценщик определяет, сохранился ли смысл в расшифровке. На расшифровках, оценённых людьми, этот показатель лучше совпадал с их суждениями, чем показатель доли ошибок в словах, основанный на точном совпадении. В тестах шести коммерческих сервисов лучший результат по Utterance Error Rate составил 11,9%; для всех шести самым сложным оказался китайский язык.
Почему это важно
Проверка того, сохраняет ли расшифровка смысл сказанного, может лучше показать, способен ли голосовой агент правильно обрабатывать важные данные, чем простой подсчёт несовпадающих слов.
Источники и ссылки
| # | Источник | Издание | Дата | Главное |
|---|---|---|---|---|
| 1 | mu-bench: A Multilingual Utterance Transcription Benchmark ↗ | arXiv | 29 сент. 2026 г. | arXiv:2609.32082v1 Announce Type: new Abstract: Voice agents depend on accurate automatic speech recognition (ASR) to act on what callers sa |
1 источников
Обновлено:
Oossa · Рассылка
Неделя ИИ — простыми словами
Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.