Han‑Sang Lee और उनके सहलेखकों ने ixi‑sLM जारी किया है। यह कोरियाई स्पीच-लैंग्वेज मॉडल पूरी तरह फोन की न्यूरल प्रोसेसिंग यूनिट (NPU) पर चल सकता है। यह 1 GiB मेमोरी की सीमा में समा जाता है और हर कॉल पर फोन की CPU ऊर्जा का करीब एक चौथाई इस्तेमाल करता है। यह कई मिलियन ग्राहकों के लिए ixi‑O की AI Call Summary और AI Call Answering सेवाओं को संचालित करता है।
बड़े मॉडल को फोन पर चलाने लायक कैसे बनाया
टीम ने शब्दावली को फोन कॉल में सबसे आम शब्दों तक सीमित कर दिया, जिससे एम्बेडिंग और लैंग्वेज-मॉडल हेड का आकार आधा रह गया। उन्होंने टोकनाइज़र को भी स्पीच के अनुरूप ढाला, जिससे कॉल के डेटा में टोकन की संख्या 18 % घट गई। ट्रांसफॉर्मर के वेट INT4 (चार-बिट इंटीजर) फ़ॉर्मैट में रखे गए हैं। साथ ही, टास्क के मुताबिक क्वांटाइज़ेशन के दौरान हर मॉड्यूल की एक्टिवेशन-संवेदनशीलता के आधार पर उसे अलग-अलग प्रिसिज़न वैल्यू दी जाती हैं। नतीजे में मॉडल का आकार 803 MiB रह गया—एक मानक FP16 मॉडल के आकार का 28 %—और यह Qualcomm तथा Apple के NPU पर चलता है।
क्लाउड मॉडल से तुलना में प्रदर्शन
परीक्षणों में, डिवाइस पर चलने वाले मॉडल ने अत्याधुनिक क्लाउड बड़े भाषा मॉडल (LLM) की टास्क-वेटेड गुणवत्ता का 94 % हासिल किया। NPU पर ले जाने के बाद कुल गुणवत्ता में मामूली गिरावट आई, जबकि हर कॉल पर ऊर्जा की खपत CPU के आधार स्तर की 23 % रह गई।
यह क्यों मायने रखता है
अब फोन उपयोगकर्ता ऑडियो क्लाउड पर भेजे बिना AI से कॉल का सारांश और जवाब पा सकते हैं। इससे बातचीत निजी रहती है और डेटा शुल्क से भी बचा जा सकता है। कम ऊर्जा खपत का मतलब है कि यह सुविधा बैटरी जल्दी खत्म नहीं करेगी। हालांकि, शोधपत्र में गुणवत्ता के स्वतंत्र, तीसरे पक्ष के परीक्षण नहीं दिए गए हैं, इसलिए अलग-अलग तरह की कॉल पर इसका वास्तविक प्रदर्शन अभी अनिश्चित है।
