Команда исследователей, опубликовавшая работу на arXiv, предлагает модель распознавания речи, которая повторно использует небольшой набор блоков, вместо того чтобы задавать отдельные параметры для каждого слоя. По словам авторов, такой подход в сочетании с методами обучения, переносящими знания из более крупных моделей, позволяет сократить число параметров примерно в десять раз, сохранив точность.
Согласно аннотации, на тестах Open ASR Leaderboard модель с двумя общими блоками достигла 97.4% от средней точности крупных моделей. Команда также описывает способ адаптации компактной модели под отдельных пользователей, однако в аннотации нет замеров на устройствах и не установлено, как она работает в реальных условиях.
Почему это важно
Для разработчиков систем распознавания речи на часах и очках меньшее число параметров может помочь уложиться в ограничения по памяти. При этом пока неизвестно, даст ли такая архитектура заметный выигрыш в скорости или энергопотреблении на реальных устройствах.
