Han‑Sang Lee及其合著者发布了ixi‑sLM，这是一款可完全在手机神经处理单元（NPU）上运行的韩语语音语言模型。它占用的内存不超过1 GiB，每次通话消耗的CPU能耗约为手机CPU的四分之一。它为数百万订阅用户提供ixi‑O的AI通话摘要和AI通话应答服务。
如何让大模型装进手机
团队精简了词汇表，只保留电话通话中最常见的词语，使嵌入层和语言模型输出头的尺寸减半。他们还针对语音重新调整了分词器，使通话内容的词元数量减少18 %。Transformer权重以INT4（4位整数）格式存储；此外，团队采用面向任务的量化方法，根据各模块对激活值的敏感程度，为其分配混合精度数值。最终模型大小为803 MiB，仅为标准FP16模型的28 %，可在Qualcomm和Apple的NPU上运行。
与云端模型的表现对比
测试显示，这款端侧模型的任务加权质量达到当前最先进云端大语言模型（LLM）的94 %。迁移到NPU后，整体质量仅略有下降，而每次通话的能耗降至CPU基准水平的23 %。
为什么重要
手机用户现在可以在不把音频发送到云端的情况下，获得AI生成的通话摘要和应答，从而保护对话隐私并避免数据流量费用。较低的能耗也意味着该功能不会迅速耗尽电池电量。不过，论文没有提供独立第三方质量测试，因此模型在各种通话场景中的实际表现仍不确定。
