mu-bench、5言語で音声文字起こしを評価

新たなベンチマーク「mu-bench」は、名前やメールアドレス、確認コードなどを伝える通話者の発話を、音声認識システムがどれだけ正確に文字起こしできるかを評価する。対象となるのは、英語、スペイン語、トルコ語、ベトナム語、北京語で行われたAI銀行エージェントとの250件の通話から収集した4,270件の発話だ。

研究者らはまた、AIによる判定を用いて、文字起こしが意味を保っているかを評価する「Utterance Error Rate」を提案した。人間が評価した文字起こしでは、この指標は完全一致を基準とする単語誤り率よりも、人間の判断と高い一致を示した。商用サービス6社を試験したところ、Utterance Error Rateで最も良いスコアは11.9%だった。6社すべてにとって、最も難しい言語は北京語だった。