Oossa

بهبود سرعت llama.cpp روی کارت‌های گرافیک Volta با بهینه‌سازی CUDA

تغییری دوخطی، پردازنده‌های Volta (sm_70) را به جدول MMVQ پردازنده‌های Turing هدایت می‌کند و سرعت Tesla V100 را حدود 3% افزایش می‌دهد؛ بدون آنکه نتیجه‌ها تغییر کنند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

پروژه llama.cpp در 2026-10-02 به‌روزرسانی کوچکی برای CUDA منتشر کرد. این به‌روزرسانی باعث می‌شود پردازنده‌های گرافیکی Volta (sm_70) از همان جدول تنظیمات MMVQ پردازنده‌های Turing استفاده کنند. این تغییر روی Tesla V100 32 GB، برای مدل Qwen3.8‑27B توان پردازشی را حدود 3 % افزایش داد. کیفیت خروجی که با معیار پرپلکسیتی سنجیده شد، ثابت ماند. این وصله را anyei و همکارانش ارائه کردند.

چرا مهم است

کاربرانی که llama.cpp را روی پردازنده‌های گرافیکی V100 اجرا می‌کنند، می‌توانند مدل‌ها را کمی سریع‌تر و بدون افت دقت اجرا کنند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.