افزودن کرنل CUDA با دقت int8 به llama.cpp

محیط اجرای متن‌باز مدل‌های زبانی بزرگ، حالا روی پردازنده‌های گرافیکی NVIDIA از نسل Ampere به بعد از کرنل جدید int8 پشتیبانی می‌کند؛ قابلیتی که رمزگشایی گمانه‌زنانه را سریع‌تر می‌کند.

خبر کوتاهنویسنده: Oossaمنتشرشده توسط Oossa: ۲۲ آبان ۱۴۰۵ ساعت ۴:۳۸ UTC1 دقیقه مطالعه

1 منبع ↓

پروژه ggml‑org/llama.cpp نسخه b12342 را با کرنل جدید CUDA int8 MMA برای عملیات ضرب ماتریسی و کوانتیزه‌سازی (MMQ) با چند ردیف منتشر کرد. این کرنل با قالب‌های کوانتیزه‌سازی Q8_0، Q3_K، Q4_K، Q5_K، Q6_K، IQ3_S، IQ4_NL و IQ4_XS روی پردازنده‌های گرافیکی NVIDIA از نسل Ampere به بعد کار می‌کند. هدف از این تغییر، سریع‌تر کردن مرحله‌های راستی‌آزمایی در رمزگشایی گمانه‌زنانه است. این به‌روزرسانی همچنین چند اصلاح برای آزمون‌ها و بررسی‌های حفاظتی دارد.

چرا مهم است

توسعه‌دهندگان می‌توانند استنتاج مدل‌های زبانی بزرگ را روی پردازنده‌های گرافیکی سازگار سریع‌تر اجرا کنند و تأخیر در کاربردهای تعاملی هوش مصنوعی را کاهش دهند.