← همه اصطلاحات هوش مصنوعی
کوانتیزه‌سازی یعنی چه؟
کوانتیزه‌سازی
ذخیره عددهای مدل با بیت‌های کمتر تا حافظه کمتری بخواهد و سریع‌تر اجرا شود، به بهای کمی افت کیفیت. برای اجرای محلی هوش مصنوعی رایج است.
خبرهایی درباره کوانتیزه‌سازی
- انتشار llama.cpp نسخه b11799 با رفعکوانتیزهسازی سریع SYCL برای q8
- روش تازه، کوانتیزه‌سازی کمبیتی مدلهای زبانی را بهبود میدهد
- llama.cpp بازچینی تانسور برای Hexagon و پشتیبانی کوانتیزه‌سازی جدید را افزود
- انتشار مدل چندوجهی Nemotron 3.5 Super VL با کوانتیزه‌سازی
- افزودن دو نوع کوانتیزه‌سازی Hexagon به llama.cpp b11345
- بهروزرسانی llama.cpp یک کرش نادرِ کوانتیزه‌سازی را رفع کرد