mu-bench évalue la transcription vocale dans cinq langues

Un nouveau benchmark, baptisé mu-bench, évalue la capacité des systèmes de reconnaissance vocale à transcrire les informations fournies par les appelants, comme des noms, des adresses e-mail et des codes de confirmation. Il rassemble 4 270 énoncés tirés de 250 appels à un agent bancaire doté d’IA, en anglais, en espagnol, en turc, en vietnamien et en mandarin.

Les chercheurs proposent également l’Utterance Error Rate, une mesure qui s’appuie sur un juge IA pour déterminer si une transcription préserve le sens. Pour les transcriptions évaluées par des personnes, cette mesure correspondait davantage aux jugements humains que le taux d’erreur sur les mots fondé sur une correspondance exacte. Lors de tests menés auprès de six fournisseurs commerciaux, le meilleur a obtenu un score de 11,9 % à l’Utterance Error Rate ; le mandarin était la langue la plus difficile pour les six.