Un team guidato da Amr Abdelkhalik ha esaminato l’encoder audio da 305 milioni di parametri usato in Gemma 4 e EmbeddingGemma 2. I ricercatori hanno lasciato invariati i pesi dell’encoder e addestrato un lettore CTC da 22,6 milioni di parametri (sistema congelato), oppure aggiunto 3,1 milioni di parametri per l’adattatore e un lettore ibrido CTC/attention da 41,5 milioni di parametri (sistema adattato). Rispetto a Cohere Transcribe Arabic (2,07 miliardi di parametri), il sistema congelato ha ottenuto tassi di errore sui caratteri simili nella maggior parte dei test e ha funzionato 3,4 volte più velocemente su CPU. Il sistema adattato ha raggiunto tassi di errore sulle parole statisticamente simili nelle chiamate al servizio clienti in Arabia Saudita (19,20% contro 19,27%) e ha superato un riconoscitore da 0,6 miliardi di parametri in diverse condizioni, decodificando al contempo 139 volte più velocemente su una GPU.
Perché conta
I risultati dimostrano che un encoder Gemma 4 congelato o adattato in modo leggero può offrire un’accuratezza nel riconoscimento vocale dell’arabo vicina a quella dei modelli commerciali, richiedendo molte meno risorse di calcolo. È una soluzione utile per le aziende che puntano a sistemi autonomi e convenienti.
