Han‑Sang Lee et ses coauteurs ont publié ixi‑sLM, un modèle coréen de traitement de la parole et du langage qui peut fonctionner entièrement sur l’unité de traitement neuronal (NPU) d’un téléphone. Le modèle tient dans une mémoire de 1 GiB et ne consomme, par appel, qu’environ un quart de l’énergie utilisée par le processeur du téléphone. Il alimente les services AI Call Summary et AI Call Answering d’ixi‑O, utilisés par plusieurs millions d’abonnés.
Comment faire tenir un grand modèle dans un téléphone
L’équipe a réduit le vocabulaire aux mots les plus courants dans les appels, diminuant de moitié la taille des couches d’embedding et de sortie du modèle de langage. Elle a aussi adapté le tokenizer à la parole, ce qui a réduit de 18 % le nombre de tokens dans le trafic d’appels. Les poids du transformeur sont stockés au format INT4 (entiers sur quatre bits), et une étape de quantification adaptée aux tâches attribue une précision variable à chaque module selon sa sensibilité aux activations. Le modèle obtenu pèse 803 MiB — soit 28 % de la taille d’un modèle FP16 standard — et fonctionne sur les NPU de Qualcomm et d’Apple.
Performances par rapport au cloud
Lors des tests, le modèle exécuté sur l’appareil a atteint 94 % de la qualité pondérée selon les tâches d’un grand modèle de langage (LLM) de pointe dans le cloud. La qualité globale n’a que légèrement diminué après le passage au NPU, tandis que la consommation d’énergie par appel est tombée à 23 % de la référence du processeur.
Pourquoi c'est important
Les utilisateurs peuvent désormais obtenir des résumés et des réponses d’appel générés par l’IA sans envoyer leur audio dans le cloud, ce qui préserve la confidentialité de leurs conversations et évite les frais de données. La faible consommation d’énergie devrait aussi limiter l’impact sur la batterie. Cependant, l’article ne présente pas de tests indépendants réalisés par des tiers : les performances exactes sur des appels variés restent donc incertaines.
