Oossa

افزودن قابلیت فعال‌ماندن دستگاه Vulkan به llama.cpp

کتابخانه متن‌باز llama.cpp در نسخه b12363 امکان تعیین مدت فعال‌ماندن دستگاه GPU در بک‌اند Vulkan را فراهم می‌کند؛ قابلیتی که اجرای فراخوانی‌های پیاپی مدل را آسان‌تر می‌کند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

تیم ggml‑org نسخه b12363 از llama.cpp را در ۱۳ نوامبر ۲۰۲۶ منتشر کرد. این به‌روزرسانی تنظیمی اختیاری برای فعال‌ماندن دستگاه به بک‌اند Vulkan اضافه می‌کند و به کاربران اجازه می‌دهد مدت‌زمان فعال‌بودن GPU پیش از خاموش‌شدن را تعیین کنند. در این تغییر، مالکیت دستگاه به بک‌اند منتقل شده و کد ساده‌تر شده است. فایل‌های اجرایی ازپیش‌ساخته‌شده برای macOS، iOS و چند نسخه از Ubuntu نیز ارائه شده‌اند.

چرا مهم است

توسعه‌دهندگان می‌توانند بدون نیاز به راه‌اندازی دوباره و پرهزینه GPU، مدل را چند بار پیاپی اجرا کنند؛ این کار سرعت پاسخ‌گویی برنامه‌های هوش مصنوعی محلی را افزایش می‌دهد.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.