Исследователи MWS AI и ИТМО разработали SEAM — подход, который помогает голосовым моделям осваивать новые языки, используя уже известные им звуковые элементы. В экспериментах на русском, казахском и французском языках метод сохранил качество синтеза при меньшем объёме обучающих записей.
SEAM проверили на двух архитектурах синтеза речи. Авторы отмечают и возможный недостаток: модель может неправильно переносить произношение между языками.
Почему это важно
Компаниям, создающим голосовых помощников и озвучку для языков с небольшим количеством размеченной речи, SEAM может сократить объём нужных записей; насколько хорошо метод работает вне экспериментов, не сообщается.
