# ixi‑sLM ger koreansk AI-samtalsassistent i mobilen

> En språkmodell med 1.2 miljarder parametrar körs nu på mobilchip och hanterar samtalssammanfattningar och svar med nästan molnbaserad kvalitet.

Oossa · 2026-10-16 · https://oossa.com/sv/ix-i-slm-brings-korean-ai-call-agent-to-phones

Han‑Sang Lee och medförfattare har släppt ixi‑sLM, en koreansk tal- och språkmodell som kan köras helt på telefonens neurala processor (NPU). Modellen ryms inom ett minnesutrymme på 1 GiB och använder bara ungefär en fjärdedel så mycket CPU-energi per samtal. Den driver tjänsterna AI Call Summary och AI Call Answering från ixi‑O, som används av flera miljoner abonnenter.

## Så fick de plats med en stor modell i mobilen

Teamet bantade ordförrådet till de vanligaste orden i telefonsamtal och halverade därmed storleken på inbäddningslagret och språkmodellens utgångslager. De anpassade också tokeniseraren för tal, vilket minskade antalet token med 18 % i samtalstrafik. Transformatorns vikter lagras i formatet INT4 (heltal med fyra bitar), och ett uppgiftsanpassat kvantiseringssteg tilldelar varje modul värden med blandad precision utifrån hur känsliga dess aktiveringar är. Den färdiga modellen är 803 MiB – 28 % av storleken hos en vanlig FP16-modell – och körs på NPU:er från Qualcomm och Apple.

## Prestanda jämfört med molnet

I tester uppnådde modellen på enheten 94 % av den uppgiftsviktade kvaliteten hos en avancerad stor språkmodell (LLM) i molnet. Den totala kvaliteten sjönk bara något när modellen flyttades till NPU:n, samtidigt som energiförbrukningen per samtal sjönk till 23 % av CPU-baslinjen.

## Fakta

- ixi‑sLM är en koreansk tal- och språkmodell med 1.2 miljarder parametrar.
- Versionen som körs på enheten upptar 803 MiB (28 % av en FP16-modell) och ryms inom en minnesgräns på 1 GiB.
- Den körs på NPU:er från Qualcomm och Apple med INT4-vikter och kvantisering med blandad precision.
- Modellen når 94 % av den uppgiftsviktade kvaliteten hos en LLM i molnet för AI Call Summary och AI Call Answering.
- Energiförbrukningen per samtal är 23 % av CPU-baslinjen, och tjänsten används redan av flera miljoner ixi‑O-användare.

## Varför det spelar roll

Mobilanvändare kan nu få AI-genererade samtalssammanfattningar och svar utan att ljudet skickas till molnet, vilket håller samtalen privata och undviker dataavgifter. Den låga energiförbrukningen innebär att funktionen inte tömmer batteriet snabbt. Artikeln redovisar dock inga oberoende tester av kvaliteten, så den exakta prestandan vid olika typer av samtal är fortfarande osäker.

## Källor och referenser

1. [ixi-sLM: On-Device sLM for AI Call Agent Service](https://arxiv.org/abs/2610.19382) – arXiv, 2026-10-15

Senast uppdaterad: 2026-10-16