Han‑Sang Lee e i suoi coautori hanno presentato ixi‑sLM, un modello coreano di elaborazione del linguaggio parlato che funziona interamente sull’unità di elaborazione neurale (NPU) di uno smartphone. Il modello rientra in un limite di memoria di 1 GiB e consuma per chiamata circa un quarto dell’energia della CPU di uno smartphone. È alla base dei servizi AI Call Summary e AI Call Answering di ixi‑O, usati da diversi milioni di abbonati.
Come hanno fatto a far entrare un modello grande in uno smartphone
Il team ha ridotto il vocabolario alle parole più frequenti nelle telefonate, dimezzando le dimensioni degli embedding e della testa del modello linguistico. Ha inoltre adattato il tokenizer al parlato, riducendo del 18 % il numero di token nelle chiamate. I pesi del trasformatore sono memorizzati in formato INT4 (interi a quattro bit) e una fase di quantizzazione consapevole del compito assegna valori a precisione mista a ciascun modulo in base alla sensibilità delle attivazioni. Il modello risultante occupa 803 MiB, il 28 % di un modello FP16 standard, e funziona sulle NPU di Qualcomm e Apple.
Prestazioni a confronto con il cloud
Nei test, il modello sul dispositivo ha raggiunto il 94 % della qualità, ponderata per attività, di un modello linguistico di grandi dimensioni (LLM) all’avanguardia eseguito nel cloud. La qualità complessiva è calata solo leggermente dopo il passaggio alla NPU, mentre il consumo energetico per chiamata è sceso al 23 % del valore di riferimento della CPU.
Perché conta
Gli utenti possono ora ricevere riepiloghi e risposte alle chiamate generati dall’AI senza inviare l’audio al cloud, proteggendo la privacy delle conversazioni ed evitando costi per il traffico dati. I consumi ridotti significano che la funzione non scaricherà rapidamente la batteria. Tuttavia, l’articolo non presenta test indipendenti di terze parti sulla qualità, quindi le prestazioni effettive su chiamate diverse restano incerte.
