一支研究团队在 arXiv 上提出一种语音识别模型:它重复使用少量模块,而不是为每一层分别设置参数。研究人员表示,这种方法结合从大型模型迁移知识的训练技术,所需参数约为原来的十分之一,同时仍能保持准确率。
根据摘要,在 Open ASR Leaderboard 基准测试中,该团队采用两个共享模块的模型恢复了大型模型平均准确率的 97.4%。团队还介绍了一种针对个人用户调整紧凑型模型的方法,但摘要没有提供设备实测数据,也未说明该模型在实际使用中的表现。
为什么重要
对于开发手表和眼镜语音识别功能的团队来说,减少模型参数有助于缓解内存限制;但这种设计能否在实际设备上带来有用的速度或能耗提升,目前仍不得而知。