Hugging Face가 자동 지표로 오픈소스 텍스트 음성 변환(TTS) 모델을 평가하는 Open TTS Leaderboard를 발표했다. 이 시스템은 단어 오류율로 명료도를, 실시간 계수와 첫 음성 출력까지 걸리는 시간으로 속도를, 임베딩의 코사인 유사도로 화자 유사도를 측정한다. 사람들의 선호도를 평가하는 방식의 아레나에서는 몇 주가 걸리지만, 이 시스템은 몇 시간 만에 모델 평가를 마칠 수 있다. 리더보드에서 음성 출력을 직접 듣고 의견을 남길 수도 있다.
왜 중요한가
개발자는 오픈소스 음성 모델을 빠르고 재현 가능한 방식으로 비교할 수 있어, 앱에 적합한 더 빠르거나 정확한 모델을 선택하는 데 도움이 된다.