هان‌سانگ لی و همکارانش ixi‑sLM را عرضه کرده‌اند؛ یک مدل گفتارـزبان کره‌ای که می‌تواند به‌طور کامل روی واحد پردازش عصبی (NPU) گوشی اجرا شود. این مدل در محدودیت حافظه 1 GiB جا می‌گیرد و برای هر تماس فقط حدود یک‌چهارم انرژی پردازنده گوشی را مصرف می‌کند. ixi‑O از آن برای ارائه خدمات خلاصه‌سازی هوشمند تماس و پاسخ‌گویی هوشمند به تماس به چند میلیون مشترک استفاده می‌کند.
چطور یک مدل بزرگ را در گوشی جا دادند
این گروه واژگان مدل را به واژه‌های رایج‌تر در تماس‌های تلفنی محدود کرد و اندازه لایه تعبیه و سرِ مدل زبانی را به نصف رساند. آن‌ها همچنین توکن‌ساز را با گفتار سازگار کردند؛ کاری که تعداد توکن‌ها را در ترافیک تماس 18 % کاهش داد. وزن‌های ترنسفورمر با قالب INT4 (اعداد صحیح چهار‌بیتی) ذخیره شده‌اند و در مرحله‌ای از کوانتیزه‌سازی آگاه از وظیفه، بر اساس حساسیت فعال‌سازی هر ماژول، مقادیر با دقت ترکیبی به آن اختصاص داده می‌شود. مدل نهایی 803 MiB حجم دارد—28 % اندازه یک مدل استاندارد FP16—و روی NPUهای Qualcomm و Apple اجرا می‌شود.
مقایسه عملکرد با پردازش ابری
در آزمایش‌ها، مدل روی دستگاه به 94 % کیفیتِ وزن‌دهی‌شده بر اساس وظیفهِ یک مدل زبانی بزرگ (LLM) ابریِ پیشرفته رسید. پس از انتقال به NPU، کیفیت کلی فقط اندکی افت کرد؛ درحالی‌که مصرف انرژی برای هر تماس به 23 % مقدار مبنا روی CPU کاهش یافت.
چرا مهم است
کاربران گوشی حالا می‌توانند خلاصه‌ها و پاسخ‌های تماسِ تولیدشده با هوش مصنوعی را بدون فرستادن صدا به فضای ابری دریافت کنند؛ در نتیجه مکالمه‌هایشان خصوصی می‌ماند و هزینه انتقال داده هم نمی‌پردازند. مصرف کم انرژی نیز باعث می‌شود این قابلیت باتری را زود خالی نکند. بااین‌حال، مقاله نتایج آزمون کیفیتِ مستقل از سوی نهادهای ثالث را ارائه نمی‌کند؛ بنابراین عملکرد دقیق مدل در تماس‌های گوناگون همچنان نامشخص است.
