Han‑Sang Lee e coautores lançaram o ixi‑sLM, um modelo coreano de fala e linguagem que roda inteiramente na unidade de processamento neural (NPU) de um celular. O modelo cabe em um limite de memória de 1 GiB e consome, por chamada, apenas cerca de um quarto da energia usada pela CPU do celular. Ele dá suporte aos serviços AI Call Summary e AI Call Answering da ixi‑O, usados por vários milhões de assinantes.
Como fizeram um modelo grande caber no celular
A equipe reduziu o vocabulário às palavras mais comuns em chamadas telefônicas, cortando pela metade o tamanho da camada de embeddings e da cabeça do modelo de linguagem. Também adaptou o tokenizador à fala, reduzindo em 18 % o número de tokens nas chamadas. Os pesos do transformer são armazenados no formato INT4 (inteiros de quatro bits), e uma etapa de quantização adaptada à tarefa atribui valores de precisão mista a cada módulo, conforme sua sensibilidade às ativações. O modelo resultante ocupa 803 MiB — 28 % do tamanho de um modelo FP16 padrão — e roda em NPUs da Qualcomm e da Apple.
Desempenho em comparação com a nuvem
Nos testes, o modelo executado no aparelho alcançou 94 % da qualidade ponderada por tarefa de um modelo de linguagem grande (LLM) de última geração na nuvem. A qualidade geral caiu apenas ligeiramente após a transferência para a NPU, enquanto o consumo de energia por chamada caiu para 23 % do valor de referência da CPU.
Por que importa
Agora, usuários de celulares podem receber resumos e respostas de chamadas gerados por IA sem enviar o áudio para a nuvem, mantendo as conversas privadas e evitando custos de dados. O baixo consumo de energia também significa que o recurso não deve descarregar a bateria rapidamente. No entanto, o artigo não apresenta testes independentes de qualidade feitos por terceiros, então o desempenho exato em chamadas variadas continua incerto.
