Oossa

循环复用模块,旨在缩小语音识别模型

研究人员提出在重复模块间共享权重,以缩小自动语音识别模型,同时保留大型模型的大部分准确率。

简讯作者: Oossa 发布日期: 1 分钟阅读

一支研究团队在 arXiv 上提出一种语音识别模型:它重复使用少量模块,而不是为每一层分别设置参数。研究人员表示,这种方法结合从大型模型迁移知识的训练技术,所需参数约为原来的十分之一,同时仍能保持准确率。

根据摘要,在 Open ASR Leaderboard 基准测试中,该团队采用两个共享模块的模型恢复了大型模型平均准确率的 97.4%。团队还介绍了一种针对个人用户调整紧凑型模型的方法,但摘要没有提供设备实测数据,也未说明该模型在实际使用中的表现。

为什么重要

对于开发手表和眼镜语音识别功能的团队来说,减少模型参数有助于缓解内存限制;但这种设计能否在实际设备上带来有用的速度或能耗提升,目前仍不得而知。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。