تیم ggml‑org نسخه b11487 از llama.cpp را منتشر کرد. این نسخه پشتیبانی GET_ROWS تایلشده از Q4_K و Q6_K را برای پردازندههای Hexagon اضافه میکند و نحوه مدیریت viewهای Q4_K را بهبود میدهد. باینریهای آماده برای Apple Silicon، macOS اینتل، iOS و چند نسخه Ubuntu (با CPU و Vulkan) ارائه شدهاند. این بهروزرسانی را میتوان از صفحه انتشار در GitHub دانلود کرد.
چرا مهم است
توسعهدهندگان حالا میتوانند مدلهای Llama را با کارایی بیشتری روی دستگاههای مبتنی بر Hexagon، مانند تراشههای Qualcomm، اجرا کنند و عملکرد را در سختافزارهای موبایل و تعبیهشده پشتیبانیشده بهبود دهند.