تیم ggml-org نسخه llama.cpp b11809 را منتشر کرده و پشتیبانی از Q2_0 را به بکاند WebGPU آن افزوده است. طبق یادداشتهای انتشار، این تغییر هم رفعکوانتیزهسازی سطری و هم ضرب ماتریسی را دربرمیگیرد. در این یادداشتها اطلاعاتی درباره سرعت، سازگاری با سختافزار یا میزان مصرف حافظه ارائه نشده است؛ بنابراین اثر عملی این تغییر بر عملکرد مشخص نیست.
چرا مهم است
توسعهدهندگانی که از llama.cpp با WebGPU استفاده میکنند، میتوانند مدلهای Q2_0 را امتحان کنند؛ اما یادداشتهای انتشار نمیگویند این مدلها روی دستگاههای مشخص چطور اجرا خواهند شد.