Han‑Sang Lee und seine Mitautorinnen und Mitautoren haben ixi‑sLM veröffentlicht, ein koreanisches Sprachmodell, das vollständig auf der Neural Processing Unit (NPU) eines Smartphones laufen kann. Das Modell passt in ein Speicherbudget von 1 GiB und verbraucht pro Anruf nur etwa ein Viertel der CPU-Energie. Es bildet die Grundlage für ixi‑Os Dienste AI Call Summary und AI Call Answering, die mehrere Millionen Abonnenten nutzen.
Wie ein großes Modell aufs Smartphone passt
Das Team beschränkte den Wortschatz auf die in Telefonaten am häufigsten verwendeten Wörter und halbierte so die Größe der Einbettungen und des Sprachmodell-Kopfs. Außerdem passte es den Tokenizer an gesprochene Sprache an. Dadurch sank die Zahl der Tokens bei Anrufdaten um 18 %. Die Transformer-Gewichte liegen im INT4-Format (Ganzzahlen mit vier Bit) vor. Bei einer auf die jeweilige Aufgabe abgestimmten Quantisierung erhält jedes Modul je nach Empfindlichkeit gegenüber Aktivierungen Werte mit gemischter Genauigkeit. Das fertige Modell ist 803 MiB groß – 28 % der Größe eines herkömmlichen FP16-Modells – und läuft auf NPUs von Qualcomm und Apple.
Leistung im Vergleich zur Cloud
In Tests erreichte das Modell auf dem Gerät 94 % der aufgabenbezogen gewichteten Qualität eines hochmodernen großen Sprachmodells (LLM) aus der Cloud. Der Qualitätsverlust beim Wechsel zur NPU fiel insgesamt gering aus, während der Energieverbrauch pro Anruf auf 23 % des CPU-Ausgangswerts sank.
Warum es wichtig ist
Nutzerinnen und Nutzer können jetzt KI-generierte Anrufzusammenfassungen und Antworten auf dem Smartphone erhalten, ohne Audiodaten in die Cloud zu übertragen. Das schützt die Privatsphäre und vermeidet Datengebühren. Der geringe Energieverbrauch schont zudem den Akku. Allerdings enthält die Studie keine unabhängigen Tests der Qualität durch Dritte; wie gut das Modell mit unterschiedlichen Telefonaten zurechtkommt, ist daher noch unklar.
