پروژه llama.cpp نسخه b12122 را منتشر کرده است؛ این نسخه بهینه‌سازی‌ای برای CUDA اضافه می‌کند که ضرب‌های ماتریسی gate/up در NVFP4 را با یک عملیات GLU در MMQ، مسیر ضرب ماتریسی این پروژه، ادغام می‌کند. NVFP4 قالب عددی فشرده‌ای است که در برخی محاسبات هوش مصنوعی به کار می‌رود؛ ادغام مراحل می‌تواند از کارهای جداگانه بکاهد، اما یادداشت‌های انتشار هیچ عددی درباره عملکرد ارائه نمی‌کنند.
این نسخه همچنین شامل نسخه‌های قابل‌دانلود برای macOS، iOS و Ubuntu روی x64، Arm64 و s390x است.
چرا مهم است
کاربرانی که بارهای کاری پشتیبانی‌شده NVFP4 را با CUDA اجرا می‌کنند، ممکن است از مسیر محاسباتی ادغام‌شده بهره ببرند؛ اما یادداشت‌های انتشار میزان افزایش سرعت یا کاهش مصرف حافظه را مشخص نمی‌کنند.
