संक्षिप्त · 1 मिनट पढ़ना
mu-bench पांच भाषाओं में वाक्-प्रतिलेखन की जांच करता है
शोधकर्ताओं ने AI बैंकिंग एजेंट को किए गए कॉल पर आधारित एक बेंचमार्क पेश किया है। यह मापता है कि प्रतिलेख में कॉल करने वाले का आशय बरकरार है या नहीं—सिर्फ यह नहीं कि शब्द हूबहू मेल खाते हैं या नहीं।
Oossa · Oossa के बारे में
mu-bench नाम का नया बेंचमार्क यह परखता है कि वाक्-पहचान प्रणालियां नाम, ईमेल पते और पुष्टि कोड जैसी जानकारी देने वाले कॉल करने वालों की बातों को कितनी अच्छी तरह लिखित रूप में दर्ज करती हैं। इसमें अंग्रेज़ी, स्पैनिश, तुर्की, वियतनामी और मंदारिन में AI बैंकिंग एजेंट को किए गए 250 कॉल से लिए गए 4,270 कथन शामिल हैं।
शोधकर्ताओं ने Utterance Error Rate भी प्रस्तावित किया है। इसमें AI निर्णायक यह आकलन करता है कि प्रतिलेख में मूल अर्थ सुरक्षित है या नहीं। लोगों द्वारा आंके गए प्रतिलेखों में, यह माप सटीक शब्द-मिलान वाले Word Error Rate की तुलना में मानवीय फैसलों से अधिक मेल खाता था। छह व्यावसायिक सेवा प्रदाताओं के परीक्षण में सबसे अच्छा स्कोर 11.9% रहा; छहों के लिए मंदारिन सबसे कठिन भाषा थी।
यह क्यों मायने रखता है
यह जांचना कि प्रतिलेख में कॉल करने वाले का आशय बरकरार है या नहीं, शब्दों के अंतर गिनने की तुलना में बेहतर ढंग से दिखा सकता है कि कोई वॉइस एजेंट जरूरी जानकारी को सही तरीके से संभाल पाएगा या नहीं।
स्रोत और संदर्भ
| # | स्रोत | प्रकाशक | तारीख | मुख्य बात |
|---|---|---|---|---|
| 1 | mu-bench: A Multilingual Utterance Transcription Benchmark ↗ | arXiv | 29 सित॰ 2026 | arXiv:2609.32082v1 Announce Type: new Abstract: Voice agents depend on accurate automatic speech recognition (ASR) to act on what callers sa |
1 स्रोत
अंतिम अपडेट:
Oossa · न्यूज़लेटर
AI का हफ़्ता, आसान भाषा में
हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।