Oossa

انتشار llama.cpp b11757 با بهبود پاک‌سازی CUDA graph

کتابخانه متن‌باز استنتاج Llama نسخه b11757 را منتشر کرد؛ این نسخه رسیدگی به CUDA graph را اصلاح می‌کند و باینری‌های تازه‌ای برای macOS، iOS و Linux دارد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

تیم ggml‑org نسخه b11757 از llama.cpp را منتشر کرد. این به‌روزرسانی پس از تخلیهٔ استخر حافظهٔ قدیمی، CUDA graphها را پاک‌سازی می‌کند؛ تغییری که باید نشت حافظهٔ GPU را کاهش دهد. باینری‌های ازپیش‌ساخته اکنون برای macOS روی Apple Silicon، macOS روی Intel، iOS و چند نسخهٔ Ubuntu (با CPU، Vulkan و CUDA 12.8) در دسترس‌اند. این نسخه در GitHub منتشر شده است.

چرا مهم است

این اصلاح برای توسعه‌دهندگانی که مدل‌های Llama را روی GPUهای Nvidia اجرا می‌کنند، خطاهای کمبود حافظه را کاهش می‌دهد.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.