mu-bench mette alla prova la trascrizione vocale in cinque lingue

Un nuovo benchmark, chiamato mu-bench, valuta quanto bene i sistemi di riconoscimento vocale trascrivono i chiamanti quando forniscono dettagli come nomi, indirizzi email e codici di conferma. Le sue 4.270 enunciazioni provengono da 250 chiamate a un agente bancario basato sull’intelligenza artificiale, in inglese, spagnolo, turco, vietnamita e mandarino.

I ricercatori propongono inoltre l’Utterance Error Rate, che si avvale di un sistema di intelligenza artificiale per valutare se una trascrizione conserva il significato. Sulle trascrizioni valutate da persone, questa misura concordava con i giudizi umani più dell’esattezza delle parole, misurata con il word error rate. Nei test condotti su sei fornitori commerciali, il migliore ha ottenuto un Utterance Error Rate dell’11,9%; il mandarino è risultato la lingua più difficile per tutti e sei.