Han‑Sang Lee en zijn coauteurs hebben ixi‑sLM uitgebracht, een Koreaans spraaktaalmodel dat volledig op de neurale verwerkingseenheid (NPU) van een telefoon kan draaien. Het model past binnen een geheugenbudget van 1 GiB en verbruikt per gesprek slechts ongeveer een kwart van de energie die de CPU nodig heeft. Het vormt de basis voor de diensten AI Call Summary en AI Call Answering van ixi‑O, die door enkele miljoenen abonnees worden gebruikt.
Zo pasten ze een groot model op een telefoon
Het team beperkte de woordenschat tot de woorden die het vaakst voorkomen in telefoongesprekken. Daardoor werden de embedding- en taalmodelkop half zo groot. Ook stemden ze de tokenizer opnieuw af op spraak, waardoor het aantal tokens in telefoonverkeer met 18 % daalde. De gewichten van de transformer zijn opgeslagen in INT4-indeling (gehele getallen van vier bits). Daarnaast wijst een taakbewuste kwantiseringsstap aan elke module waarden met gemengde precisie toe, op basis van de gevoeligheid voor activaties. Het resulterende model is 803 MiB groot – 28 % van de omvang van een standaard FP16-model – en draait op Qualcomm- en Apple-NPU's.
Prestaties vergeleken met de cloud
In tests behaalde het model op het apparaat 94 % van de taakgewogen kwaliteit van een geavanceerd groot taalmodel (LLM) in de cloud. De algehele kwaliteit nam maar weinig af toen het model naar de NPU werd overgezet, terwijl het energieverbruik per gesprek daalde tot 23 % van het CPU-referentieniveau.
Waarom het ertoe doet
Telefoongebruikers kunnen nu AI-samenvattingen en antwoorden van gesprekken krijgen zonder audio naar de cloud te sturen. Zo blijven hun gesprekken privé en vermijden ze datakosten. Door het lage energieverbruik raakt de batterij bovendien niet snel leeg. Het artikel bevat echter geen onafhankelijke tests van derden naar de kwaliteit, waardoor de precieze prestaties bij uiteenlopende gesprekken onzeker blijven.
