Uma equipe liderada por Amr Abdelkhalik analisou o encoder de áudio de 305 milhões de parâmetros usado no Gemma 4 e no EmbeddingGemma 2. Os pesquisadores mantiveram fixos os pesos do encoder e treinaram um leitor CTC de 22,6 milhões de parâmetros (sistema congelado) ou acrescentaram 3,1 milhões de parâmetros de adaptador e um leitor híbrido CTC/atenção de 41,5 milhões de parâmetros (sistema adaptado). Em comparação com o Cohere Transcribe Arabic (2,07 bilhões de parâmetros), o sistema congelado apresentou taxas de erro de caracteres semelhantes na maioria dos testes e funcionou 3,4 vezes mais rápido em CPU. O sistema adaptado alcançou taxas de erro de palavras estatisticamente semelhantes em chamadas de atendimento ao cliente na Arábia Saudita (19,20% contra 19,27%) e superou um reconhecedor de 0,6 bilhão de parâmetros em várias condições, além de decodificar 139 vezes mais rápido em uma GPU.
Por que importa
Os resultados mostram que um encoder do Gemma 4 congelado ou adaptado levemente pode oferecer precisão de reconhecimento de fala em árabe próxima à de modelos comerciais, exigindo muito menos capacidade computacional. Isso pode ser útil para empresas que precisam de soluções econômicas e hospedadas por conta própria.
