Oossa

پشتیبانی llama.cpp 0.1.14 از Q4_K و Q6_K تایل‌شده در Hexagon

کتابخانه متن‌باز Llama.cpp حالا از قالب‌های Q4_K و Q6_K تایل‌شده روی پردازنده‌های Hexagon پشتیبانی می‌کند و باینری‌های تازه‌ای برای macOS، iOS و Linux ارائه می‌دهد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

تیم ggml‑org نسخه b11487 از llama.cpp را منتشر کرد. این نسخه پشتیبانی GET_ROWS تایل‌شده از Q4_K و Q6_K را برای پردازنده‌های Hexagon اضافه می‌کند و نحوه مدیریت viewهای Q4_K را بهبود می‌دهد. باینری‌های آماده برای Apple Silicon، macOS اینتل، iOS و چند نسخه Ubuntu (با CPU و Vulkan) ارائه شده‌اند. این به‌روزرسانی را می‌توان از صفحه انتشار در GitHub دانلود کرد.

چرا مهم است

توسعه‌دهندگان حالا می‌توانند مدل‌های Llama را با کارایی بیشتری روی دستگاه‌های مبتنی بر Hexagon، مانند تراشه‌های Qualcomm، اجرا کنند و عملکرد را در سخت‌افزارهای موبایل و تعبیه‌شده پشتیبانی‌شده بهبود دهند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.