پروژه llama.cpp نسخه جدیدی منتشر کرده که پشتیبانی از عملیات SSM_SCAN روی NPU شرکت Qualcomm، یعنی Hexagon، را اضافه میکند. این بهروزرسانی شامل بهینهسازی کرنلها، تغییراتی در خط لوله DMA و پشتیبانی از HMX است. همچنین ساخت نسخههای پلتفرمی را گسترش میدهد و CUDA 13 و پیکربندیهای جدید CPU-GPU-NPU برای Snapdragon را اضافه میکند. Max Krasnyansky از Qualcomm نیز در نگارش این تغییر مشارکت داشته است.
چرا مهم است
توسعهدهندگان میتوانند مدلهای llama.cpp را روی گوشیهای Snapdragon مجهز به NPUهای Hexagon سریعتر اجرا کنند.