Oossa

پشتیبانی llama.cpp از عملیات SSM_SCAN در Hexagon

کتابخانه متن‌باز llama.cpp اکنون از عملیات SSM_SCAN روی NPUهای Qualcomm Hexagon پشتیبانی می‌کند و عملکرد را در دستگاه‌های Snapdragon بهبود می‌دهد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

پروژه llama.cpp نسخه جدیدی منتشر کرده که پشتیبانی از عملیات SSM_SCAN روی NPU شرکت Qualcomm، یعنی Hexagon، را اضافه می‌کند. این به‌روزرسانی شامل بهینه‌سازی کرنل‌ها، تغییراتی در خط لوله DMA و پشتیبانی از HMX است. همچنین ساخت نسخه‌های پلتفرمی را گسترش می‌دهد و CUDA 13 و پیکربندی‌های جدید CPU-GPU-NPU برای Snapdragon را اضافه می‌کند. Max Krasnyansky از Qualcomm نیز در نگارش این تغییر مشارکت داشته است.

چرا مهم است

توسعه‌دهندگان می‌توانند مدل‌های llama.cpp را روی گوشی‌های Snapdragon مجهز به NPUهای Hexagon سریع‌تر اجرا کنند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.