نسخهٔ b12073 از llama.cpp یک باگ Vulkan را در نحوهٔ جستوجوی مقادیر مقیاس UE4M3 در دادههای NVFP4 برطرف میکند. برخی بایتهای مقیاس میتوانستند باعث شوند کد از محدودهٔ جدول جستوجوی حافظهٔ اشتراکی فراتر برود؛ چون جدول 128 ورودی داشت، درحالیکه بایت خام میتواند 256 مقدار را نمایش دهد.
این اصلاح جدول و بودجهٔ حافظهٔ آن را به 256 ورودی افزایش میدهد. هر پایپلاین NVFP4، 512 بایت حافظهٔ اشتراکی بیشتری مصرف میکند. طبق یادداشتهای انتشار، مدلهایی که با llama.cpp کوانتیزه شدهاند تحتتأثیر قرار نمیگیرند، زیرا کد تبدیل آن این بیت را که باعث جستوجوی خارج از محدوده میشود تنظیم نمیکند.
چرا مهم است
این اصلاح از خواندن خارج از محدوده هنگام اجرای بارهای کاری NVFP4 روی Vulkan جلوگیری میکند؛ طبق یادداشتهای انتشار، مدلهای کوانتیزهشده با llama.cpp تحتتأثیر این باگ نیستند.