ブロックを繰り返し使い、音声認識モデルを小型化

arXivで発表した研究チームは、各層に個別のパラメーターを割り当てる代わりに、少数のブロックを再利用する音声認識モデルを提案している。研究者らによると、この方式に大型モデルの知識を移す学習手法を組み合わせることで、精度を保ちながらパラメーター数を約10分の1にできるという。

要旨によると、Open ASR Leaderboardのベンチマークで、2つのブロックを共有するモデルは大型モデルの平均精度の97.4%を達成した。チームは小型モデルを個々のユーザーに合わせて調整する方法も説明しているが、要旨にはデバイス上での測定結果は示されておらず、実環境での性能も明らかになっていない。