Oossa

انتشار llama.cpp با شتاب‌دهی به بازگشایی وزن‌های Q6_K

نسخه b11489 بازگشایی وزن‌های Q6_K را سریع‌تر می‌کند و با دوبرابرکردن عامل بازکردن حلقه، باینری‌های تازه‌ای برای macOS، iOS و Linux ارائه می‌دهد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

تیم ggml‑org نسخه b11489 از llama.cpp را منتشر کرد. طبق یادداشت‌های انتشار، این به‌روزرسانی بازگشایی وزن‌های Q6_K را سریع‌تر می‌کند؛ فرایندی که در آن وزن‌های فشرده‌شدهٔ مدل دوباره به اعداد قابل‌استفاده تبدیل می‌شوند. همچنین عامل بازکردن حلقه را دوبرابر می‌کند. اکنون باینری‌های ازپیش‌ساخته برای Apple Silicon، Intel macOS، iOS و چند پیکربندی Ubuntu، از جمله نسخه‌های مبتنی بر Vulkan و CUDA، در دسترس‌اند.

چرا مهم است

بازگشایی سریع‌تر به توسعه‌دهندگان امکان می‌دهد مدل‌های زبانی بزرگ را با تأخیر کمتر روی همان سخت‌افزار اجرا کنند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.