Han‑Sang Lee och medförfattare har släppt ixi‑sLM, en koreansk tal- och språkmodell som kan köras helt på telefonens neurala processor (NPU). Modellen ryms inom ett minnesutrymme på 1 GiB och använder bara ungefär en fjärdedel så mycket CPU-energi per samtal. Den driver tjänsterna AI Call Summary och AI Call Answering från ixi‑O, som används av flera miljoner abonnenter.
Så fick de plats med en stor modell i mobilen
Teamet bantade ordförrådet till de vanligaste orden i telefonsamtal och halverade därmed storleken på inbäddningslagret och språkmodellens utgångslager. De anpassade också tokeniseraren för tal, vilket minskade antalet token med 18 % i samtalstrafik. Transformatorns vikter lagras i formatet INT4 (heltal med fyra bitar), och ett uppgiftsanpassat kvantiseringssteg tilldelar varje modul värden med blandad precision utifrån hur känsliga dess aktiveringar är. Den färdiga modellen är 803 MiB – 28 % av storleken hos en vanlig FP16-modell – och körs på NPU:er från Qualcomm och Apple.
Prestanda jämfört med molnet
I tester uppnådde modellen på enheten 94 % av den uppgiftsviktade kvaliteten hos en avancerad stor språkmodell (LLM) i molnet. Den totala kvaliteten sjönk bara något när modellen flyttades till NPU:n, samtidigt som energiförbrukningen per samtal sjönk till 23 % av CPU-baslinjen.
Varför det spelar roll
Mobilanvändare kan nu få AI-genererade samtalssammanfattningar och svar utan att ljudet skickas till molnet, vilket håller samtalen privata och undviker dataavgifter. Den låga energiförbrukningen innebär att funktionen inte tömmer batteriet snabbt. Artikeln redovisar dock inga oberoende tester av kvaliteten, så den exakta prestandan vid olika typer av samtal är fortfarande osäker.
