Amr Abdelkhalik이 이끄는 연구팀은 Gemma 4와 EmbeddingGemma 2에 사용된 3억500만 개 매개변수의 오디오 인코더를 살펴봤다. 인코더 가중치는 고정한 채 2,260만 개 매개변수의 CTC 판독기를 학습한 모델(고정 시스템)과, 310만 개 어댑터 매개변수 및 4,150만 개 매개변수의 하이브리드 CTC/어텐션 판독기를 추가한 모델(적응 시스템)을 만들었다. 20억7,000만 개 매개변수의 Cohere Transcribe Arabic과 비교했을 때, 고정 시스템은 대부분의 테스트에서 문자 오류율이 비슷했고 CPU에서 3.4배 빠르게 작동했다. 적응 시스템은 사우디 고객 서비스 통화에서 통계적으로 비슷한 단어 오류율을 기록했으며(19.20% 대 19.27%), 일부 조건에서는 6억 개 매개변수의 음성 인식 모델보다 성능이 뛰어났다. 한 GPU에서 디코딩 속도는 139배 빨랐다.
왜 중요한가
이번 결과는 가중치를 고정하거나 소폭 조정한 Gemma 4 인코더가 훨씬 적은 연산 자원으로 상용 모델에 가까운 아랍어 음성 인식 정확도를 낼 수 있음을 보여준다. 비용 효율적인 자체 호스팅 솔루션이 필요한 기업에 유용할 수 있다.
