Хан-Сан Ли и соавторы представили ixi‑sLM — корейскую речевую языковую модель, которая целиком работает на нейропроцессоре (NPU) смартфона. Модель помещается в память объёмом 1 GiB и расходует на один звонок лишь около четверти энергии процессора телефона. На её основе работают сервисы ixi‑O AI Call Summary и AI Call Answering, которыми пользуются несколько миллионов абонентов.
Как уместить большую модель в смартфон
Команда сократила словарь, оставив наиболее частые в телефонных разговорах слова, и вдвое уменьшила размер эмбеддингов и выходного слоя языковой модели. Кроме того, токенизатор адаптировали к речи: благодаря этому число токенов в данных звонков сократилось на 18 %. Веса трансформера хранятся в формате INT4 (четырёхбитные целые числа), а при квантовании с учётом задач каждому модулю назначается точность в зависимости от чувствительности его активаций. В результате размер модели составил 803 MiB — 28 % от размера стандартной модели FP16. Она работает на NPU Qualcomm и Apple.
Сравнение с облачными моделями
В ходе тестов модель на устройстве показала 94 % качества современной облачной большой языковой модели (LLM) при взвешивании по задачам. После переноса на NPU общее качество снизилось лишь незначительно, а расход энергии на звонок упал до 23 % от уровня процессора.
Почему это важно
Теперь пользователи смартфонов могут получать ИИ-сводки звонков и ответы, не отправляя аудио в облако, — это помогает сохранить разговоры в тайне и избежать платы за передачу данных. Благодаря низкому энергопотреблению функция не должна быстро разряжать батарею. Однако в статье не приводятся результаты независимых проверок качества, поэтому точная эффективность модели в разных типах разговоров остаётся неясной.
