llama.cpp प्रोजेक्ट ने 5 अक्टूबर, 2026 को version b11404 जारी किया। इसमें Apple GPU के लिए ऐसे Metal kernels जोड़े गए हैं, जो एक बार में कई पंक्तियों (2‑16 rows) का गुणन करते हैं। ये kernels हर weight को एक ही बार dequantize करते हैं और SIMD समूहों के बीच काम साझा करते हैं। इससे M3 Ultra पर speculative decoding, पहले के mat-vec तरीके से तेज़ हो जाती है। नए kernels सिर्फ़ Apple7 GPU family को सपोर्ट करने वाले डिवाइसों पर और पंक्तियों की संख्या एक तय सीमा तक पहुँचने पर ही इस्तेमाल होते हैं (जैसे, F32 के लिए 6 rows)। इस बदलाव में fusion logic को भी बेहतर किया गया है और समस्याएँ पैदा करने वाले batched-copy fusion को हटा दिया गया है।
यह क्यों मायने रखता है
llama.cpp चलाने वाले Apple Silicon यूज़र्स को speculative decoding से टेक्स्ट बनाते समय कम latency मिलेगी, खासकर M3 Ultra डिवाइसों पर।
