Han‑Sang Lee y sus coautores presentaron ixi‑sLM, un modelo coreano de voz y lenguaje que puede ejecutarse por completo en la unidad de procesamiento neuronal (NPU) de un teléfono. El modelo cabe en un límite de memoria de 1 GiB y consume por llamada apenas una cuarta parte de la energía que usaría la CPU del teléfono. Impulsa los servicios AI Call Summary y AI Call Answering de ixi‑O, que ya tienen varios millones de suscriptores.
Cómo hicieron caber un modelo grande en un teléfono
El equipo redujo el vocabulario a las palabras más frecuentes en las llamadas, con lo que recortó a la mitad el tamaño de las capas de embeddings y de salida del modelo de lenguaje. También adaptó el tokenizador al habla, lo que redujo en un 18 % la cantidad de tokens en el tráfico de llamadas. Los pesos del transformer se almacenan en formato INT4 (enteros de cuatro bits), y un paso de cuantización adaptada a la tarea asigna valores de precisión mixta a cada módulo según su sensibilidad a las activaciones. El modelo resultante ocupa 803 MiB —el 28 % del tamaño de un modelo FP16 estándar— y funciona en las NPU de Qualcomm y Apple.
Rendimiento frente a la nube
En las pruebas, el modelo ejecutado en el dispositivo alcanzó el 94 % de la calidad ponderada por tarea de un modelo de lenguaje grande (LLM) de última generación en la nube. La calidad general apenas disminuyó al trasladarlo a la NPU, mientras que el consumo de energía por llamada bajó al 23 % del nivel de referencia de la CPU.
Por qué importa
Los usuarios de teléfonos ya pueden recibir resúmenes y respuestas generados por IA sobre sus llamadas sin enviar el audio a la nube, lo que mantiene privadas sus conversaciones y evita cargos por datos. El bajo consumo de energía también significa que la función no agotará la batería rápidamente. Sin embargo, el artículo no presenta pruebas independientes de calidad realizadas por terceros, por lo que el rendimiento exacto en llamadas diversas sigue siendo incierto.
