Han‑Sang Lee ve ortak yazarları, tamamen bir telefonun sinirsel işlem biriminde (NPU) çalışabilen Korece bir konuşma-dil modeli olan ixi‑sLM’yi yayımladı. Model, 1 GiB bellek sınırına sığıyor ve her çağrı başına telefonun CPU’sunun harcadığı enerjinin yaklaşık dörtte birini kullanıyor. Birkaç milyon aboneye sunulan ixi‑O’nun AI Call Summary ve AI Call Answering hizmetlerine güç veriyor.
Büyük bir modeli telefona nasıl sığdırdılar?
Ekip, sözcük dağarcığını telefon görüşmelerinde en sık kullanılan kelimelerle sınırlandırarak gömme katmanının ve dil modeli başlığının boyutunu yarıya indirdi. Ayrıca belirteçleyiciyi konuşmaya uyarladılar; böylece çağrı trafiğinde belirteç sayısı %18 azaldı. Transformer ağırlıkları INT4 (dört bitlik tamsayı) biçiminde saklanıyor. Göreve duyarlı bir nicemleme adımı da etkinleşme hassasiyetine göre her modüle farklı hassasiyet düzeyleri atıyor. Ortaya çıkan model 803 MiB boyutunda; standart bir FP16 modelin boyutunun %28’i kadar ve Qualcomm ile Apple NPU’larında çalışıyor.
Bulutla karşılaştırıldığında performansı
Testlerde cihaz üzerinde çalışan model, son teknoloji bir bulut büyük dil modelinin (LLM) göreve göre ağırlıklandırılmış kalitesinin %94’üne ulaştı. NPU’ya geçişten sonra genel kalite yalnızca biraz düşerken çağrı başına enerji tüketimi, CPU temel değerinin %23’üne indi.
Neden önemli
Telefon kullanıcıları artık ses kayıtlarını buluta göndermeden yapay zekâ tarafından oluşturulan çağrı özetleri ve yanıtları alabiliyor; böylece görüşmelerini gizli tutup veri ücreti ödemekten kaçınabiliyor. Düşük enerji tüketimi, özelliğin pili hızla bitirmeyeceği anlamına geliyor. Ancak makalede bağımsız üçüncü taraf kalite testleri sunulmadığından, farklı türdeki görüşmelerdeki kesin performans belirsizliğini koruyor.
