Oossa

نسخه b11496 از llama.cpp بارگذاری حجیم با SYCL را اضافه کرد

کتابخانه متن‌باز llama.cpp در ۸ اکتبر ۲۰۲۶ نسخه b11496 را منتشر کرد. این نسخه مسیری مبتنی بر SYCL برای بارگذاری حجیم مدل‌ها از طریق بافر حلقوی پین‌شده ارائه می‌دهد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

تیم ggml‑org در ۸ اکتبر ۲۰۲۶ نسخه b11496 از llama.cpp را منتشر کرد. این به‌روزرسانی مرحله‌ای مبتنی بر SYCL اضافه می‌کند که بارگذاری حجیم مدل‌ها را از طریق یک بافر حلقوی پین‌شده انجام می‌دهد و سرعت بارگذاری را در GPUهای سازگار افزایش می‌دهد. فایل‌های اجرایی برای macOS (Apple Silicon و Intel)، iOS و نسخه‌های مختلف Ubuntu (CPU، Vulkan، CUDA 12) برای دانلود در دسترس‌اند.

چرا مهم است

توسعه‌دهندگان می‌توانند مدل‌های زبانی بزرگ را روی سخت‌افزار سازگار با SYCL سریع‌تر بارگذاری کنند و زمان راه‌اندازی برنامه‌های مبتنی بر llama.cpp را کاهش دهند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.