# ixi‑sLM让韩语AI通话助手在手机上运行

> 这款拥有12亿参数的语言模型可在手机芯片上运行，以接近云端的质量完成通话摘要和应答任务。

Oossa · 2026-10-16 · https://oossa.com/zh/ix-i-slm-brings-korean-ai-call-agent-to-phones

Han‑Sang Lee及其合著者发布了ixi‑sLM，这是一款可完全在手机神经处理单元（NPU）上运行的韩语语音语言模型。它占用的内存不超过1 GiB，每次通话消耗的CPU能耗约为手机CPU的四分之一。它为数百万订阅用户提供ixi‑O的AI通话摘要和AI通话应答服务。

## 如何让大模型装进手机

团队精简了词汇表，只保留电话通话中最常见的词语，使嵌入层和语言模型输出头的尺寸减半。他们还针对语音重新调整了分词器，使通话内容的词元数量减少18 %。Transformer权重以INT4（4位整数）格式存储；此外，团队采用面向任务的量化方法，根据各模块对激活值的敏感程度，为其分配混合精度数值。最终模型大小为803 MiB，仅为标准FP16模型的28 %，可在Qualcomm和Apple的NPU上运行。

## 与云端模型的表现对比

测试显示，这款端侧模型的任务加权质量达到当前最先进云端大语言模型（LLM）的94 %。迁移到NPU后，整体质量仅略有下降，而每次通话的能耗降至CPU基准水平的23 %。

## 事实

- ixi‑sLM是一款拥有12亿参数的韩语语音语言模型。
- 端侧版本大小为803 MiB（相当于FP16模型的28 %），内存占用不超过1 GiB。
- 该模型使用INT4权重和混合精度量化，可在Qualcomm和Apple的NPU上运行。
- 在AI通话摘要和应答任务中，该模型达到云端LLM任务加权质量的94 %。
- 每次通话的能耗为CPU基准水平的23 %，这项服务已覆盖数百万ixi‑O用户。

## 为什么重要

手机用户现在可以在不把音频发送到云端的情况下，获得AI生成的通话摘要和应答，从而保护对话隐私并避免数据流量费用。较低的能耗也意味着该功能不会迅速耗尽电池电量。不过，论文没有提供独立第三方质量测试，因此模型在各种通话场景中的实际表现仍不确定。

## 来源与参考

1. [ixi-sLM: On-Device sLM for AI Call Agent Service](https://arxiv.org/abs/2610.19382) – arXiv, 2026-10-15

最后更新: 2026-10-16