Han‑Sang Lee와 공동 저자들은 휴대폰의 신경망처리장치(NPU)에서 완전히 실행할 수 있는 한국어 음성 언어 모델 ixi‑sLM을 공개했다. 이 모델은 1 GiB 메모리 한도 안에 들어가며, 통화당 휴대폰 CPU 에너지의 약 4분의 1만 사용한다. 수백만 명의 가입자가 이용하는 ixi‑O의 AI 통화 요약 및 AI 통화 응답 서비스에 적용됐다.
대형 모델을 휴대폰에 맞춘 방법
연구팀은 통화에서 가장 자주 쓰이는 단어 위주로 어휘를 줄여 임베딩과 언어 모델 헤드의 크기를 절반으로 축소했다. 음성에 맞게 토크나이저도 재구성해 통화 데이터에서 토큰 수를 18 % 줄였다. 트랜스포머 가중치는 INT4(4비트 정수) 형식으로 저장하며, 작업 특성을 고려한 양자화 단계에서는 활성값 민감도에 따라 각 모듈에 혼합 정밀도 값을 할당한다. 완성된 모델의 크기는 803 MiB로, 표준 FP16 모델의 28 % 수준이며 Qualcomm 및 Apple NPU에서 실행된다.
클라우드 모델과 성능 비교
테스트에서 온디바이스 모델은 최신 클라우드 대규모 언어 모델(LLM)의 작업별 가중 품질 기준 94 %를 달성했다. NPU로 옮긴 뒤 전체 품질은 소폭만 떨어졌고, 통화당 에너지 사용량은 CPU 기준치의 23 %로 줄었다.
왜 중요한가
휴대폰 사용자는 이제 오디오를 클라우드로 보내지 않고도 AI가 생성한 통화 요약과 답변을 받을 수 있어 대화의 사생활을 지키고 데이터 요금도 피할 수 있다. 에너지 사용량이 적어 기능을 켜도 배터리가 빠르게 닳지 않는다. 다만 논문에는 독립적인 제3자 품질 평가가 제시되지 않아 다양한 통화 상황에서의 정확한 성능은 아직 불확실하다.
