أصدر Han‑Sang Lee وزملاؤه ixi‑sLM، وهو نموذج كوري للكلام واللغة يعمل بالكامل على وحدة المعالجة العصبية (NPU) في الهاتف. ولا يتجاوز حجمه حدّ الذاكرة البالغ 1 GiB، كما يستهلك نحو ربع طاقة معالج الهاتف المركزي لكل مكالمة. ويشغّل النموذج خدمتي AI Call Summary وAI Call Answering من ixi‑O، اللتين تخدمان عدة ملايين من المشتركين.
كيف جعلوا نموذجًا كبيرًا مناسبًا للهاتف
قلّص الفريق المفردات لتقتصر على الكلمات الأكثر شيوعًا في المكالمات الهاتفية، فخفض حجم طبقة التضمين ورأس النموذج اللغوي إلى النصف. كما أعادوا تهيئة أداة تقسيم النص إلى رموز لتناسب الكلام، ما خفّض عدد الرموز في حركة المكالمات بنسبة 18 %. وخُزّنت أوزان المحوّل بصيغة INT4 (أعداد صحيحة من أربعة بتات)، مع تطبيق خطوة تكميم تراعي المهمة وتخصّص قيمًا متفاوتة الدقة لكل وحدة بحسب حساسيتها للتنشيط. ويبلغ حجم النموذج الناتج 803 MiB، أي 28 % من حجم نموذج FP16 قياسي، ويعمل على وحدات NPU من Qualcomm وApple.
الأداء مقارنةً بالسحابة
في الاختبارات، حقق النموذج العامل على الجهاز 94 % من الجودة المرجّحة بحسب المهام لنموذج لغوي كبير (LLM) سحابي متطور. ولم تنخفض الجودة الإجمالية إلا قليلًا بعد نقل التشغيل إلى وحدة NPU، بينما هبط استهلاك الطاقة لكل مكالمة إلى 23 % من خط الأساس لمعالج الهاتف المركزي.
لماذا يهم
بات بإمكان مستخدمي الهواتف الحصول على ملخصات للمكالمات وإجابات مولّدة بالذكاء الاصطناعي من دون إرسال الصوت إلى السحابة، ما يحافظ على خصوصية محادثاتهم ويجنّبهم رسوم البيانات. كما أن انخفاض استهلاك الطاقة يعني أن الميزة لن تستنزف البطارية بسرعة. لكن الورقة البحثية لا تتضمن اختبارات جودة مستقلة من جهات خارجية، لذا تظل دقة الأداء الفعلية في المكالمات المتنوعة غير مؤكدة.
