Dans un article publié sur arXiv, une équipe propose un modèle de reconnaissance vocale qui réutilise un petit nombre de blocs au lieu d’attribuer ses propres paramètres à chaque couche. Selon les chercheurs, cette approche, associée à des méthodes d’entraînement qui transfèrent les connaissances de modèles plus grands, utilise environ dix fois moins de paramètres tout en conservant sa précision.
D’après le résumé, sur les benchmarks de l’Open ASR Leaderboard, leur modèle à deux blocs partagés a atteint 97,4 % de la précision moyenne des grands modèles. L’équipe décrit aussi une méthode pour adapter le modèle compact à chaque utilisateur, mais le résumé ne fournit aucune mesure sur appareil et ne permet pas d’établir ses performances en conditions réelles.
Pourquoi c'est important
Pour les personnes qui développent des systèmes de reconnaissance vocale destinés aux montres et aux lunettes, réduire le nombre de paramètres d’un modèle pourrait aider à respecter les contraintes de mémoire. On ignore toutefois si cette conception permet réellement d’accélérer le traitement ou de réduire la consommation d’énergie sur des appareils.
