نسخه b11979 از ggml-org/llama.cpp نحوه تبدیل چند قالب مدل کوانتیده را در کرنل‌های SYCL روی گرافیک‌های Intel تغییر می‌دهد. این پروژه روی Arc Pro B70، هنگام استفاده تنسورها از چیدمانی بازآرایی‌شده، پیش‌پردازش سریع‌تر را اندازه‌گیری کرد؛ پیش‌پردازش همان پردازش متن ورودی است. میزان بهبود بسته به قالب و مدل متفاوت بود.
بیشترین بهبود گزارش‌شده در این مسیر، 28.7% برای یک مدل 27 میلیاردپارامتری Q6_K بود. در مدل‌های ترکیبی متخصصان MXFP4، سرعت پیش‌پردازش در آزمایش گزارش‌شده 57% تا 61% افزایش یافت؛ این بهبود با چیدمان تازه نیز دیده شد. سرعت رمزگشایی تغییری نکرد. این ارقام را خود پروژه گزارش کرده و نتایج پرپلکسیتی تغییری نداشتند یا در محدوده نوسان بین اجراها بودند.
چرا مهم است
افرادی که این قالب‌های مدل را روی Intel Arc Pro B70 اجرا می‌کنند ممکن است متن ورودی را سریع‌تر پردازش کنند؛ بااین‌حال میزان بهبود به مدل و چیدمان بستگی دارد و رمزگشایی را سریع‌تر نمی‌کند.
