# llama.cpp में Apple M3 Ultra के लिए तेज़ speculative decoding

> ओपन-सोर्स LLM रनटाइम अब Apple Silicon पर नए matrix-multiply kernels का इस्तेमाल करता है, जिससे कुछ quantized मॉडल में टोकन बनने में कम समय लगता है।

Oossa · 2026-10-05 · https://oossa.com/hi/llama-cpp-adds-few-row-metal-kernels-for-faster-speculative-decoding-on-apple-m3

llama.cpp प्रोजेक्ट ने 5 अक्टूबर, 2026 को version b11404 जारी किया। इसमें Apple GPU के लिए ऐसे Metal kernels जोड़े गए हैं, जो एक बार में कई पंक्तियों (2‑16 rows) का गुणन करते हैं। ये kernels हर weight को एक ही बार dequantize करते हैं और SIMD समूहों के बीच काम साझा करते हैं। इससे M3 Ultra पर speculative decoding, पहले के mat-vec तरीके से तेज़ हो जाती है। नए kernels सिर्फ़ Apple7 GPU family को सपोर्ट करने वाले डिवाइसों पर और पंक्तियों की संख्या एक तय सीमा तक पहुँचने पर ही इस्तेमाल होते हैं (जैसे, F32 के लिए 6 rows)। इस बदलाव में fusion logic को भी बेहतर किया गया है और समस्याएँ पैदा करने वाले batched-copy fusion को हटा दिया गया है।

## तथ्य

- रिलीज़ की तारीख: 5 अक्टूबर, 2026 ("Mon Oct 05 2026 08:06:22 GMT+0200").
- नए Metal kernels 2–16 rows पर काम करते हैं और M3 Ultra पर speculative decoding को तेज़ करते हैं।

## यह क्यों मायने रखता है

llama.cpp चलाने वाले Apple Silicon यूज़र्स को speculative decoding से टेक्स्ट बनाते समय कम latency मिलेगी, खासकर M3 Ultra डिवाइसों पर।

## स्रोत और संदर्भ

1. [ggml-org/llama.cpp b11404](https://github.com/ggml-org/llama.cpp/releases/tag/b11404) – llama.cpp, 2026-10-05

अंतिम अपडेट: 2026-10-05