반복 블록으로 음성 인식 모델 크기 줄인다

arXiv에 논문을 올린 연구팀이 각 계층에 고유한 매개변수를 두는 대신 소수의 블록을 반복해서 사용하는 음성 인식 모델을 제안했다. 연구진은 대형 모델의 지식을 전이하는 학습 기법을 함께 적용하면 매개변수 수를 약 10분의 1로 줄이면서 정확도를 유지할 수 있다고 밝혔다.

초록에 따르면, Open ASR Leaderboard 벤치마크에서 블록 두 개를 공유하는 모델은 대형 모델의 평균 정확도 중 97.4%를 달성했다. 연구팀은 소형 모델을 사용자별로 조정하는 방법도 설명했지만, 초록에는 기기 측정 결과가 제시되지 않았으며 실제 환경에서의 성능도 확인되지 않았다.