Han‑Sang Lee氏らは、スマートフォンのニューラル・プロセッシング・ユニット（NPU）だけで動作する韓国語の音声言語モデル「ixi‑sLM」を公開した。モデルは1 GiBのメモリー枠に収まり、通話ごとのCPU消費電力はスマートフォンの約4分の1にとどまる。数百万人の加入者向けに、ixi‑Oの「AI Call Summary」と「AI Call Answering」サービスを支えている。
大型モデルをスマートフォンに収める工夫
チームは、通話でよく使われる単語に語彙を絞り込み、埋め込み層と言語モデルの出力層のサイズを半減させた。また、トークナイザーを音声向けに調整し、通話データのトークン数を18 %削減した。Transformerの重みはINT4（4ビット整数）形式で保存し、タスクを考慮した量子化処理では、活性化の感度に応じて各モジュールに異なる精度を割り当てる。こうしてできたモデルは803 MiBで、標準的なFP16モデルの28 %のサイズとなり、QualcommとAppleのNPUで動作する。
クラウドモデルとの性能比較
テストでは、デバイス上のモデルは最先端のクラウド大規模言語モデル（LLM）のタスク加重品質の94 %を達成した。NPUへの移行後も全体的な品質の低下はわずかで、通話ごとの消費電力はCPUを基準とした場合の23 %に減った。
なぜ重要か
スマートフォン利用者は、音声をクラウドに送らずにAIによる通話の要約や応答を利用でき、会話のプライバシーを保ち、データ通信料も避けられる。消費電力が少ないため、機能を使ってもバッテリーを急速に消耗しない。一方、論文には独立した第三者による品質テストが示されておらず、多様な通話での正確な性能はまだ不明だ。
