ggml‑org टीम ने 20 Oct 2026 को llama.cpp का संस्करण b11759 जारी किया। इस अपडेट में ggml‑zdnn बैकएंड के लिए flash attention ऑपरेशन (fattn) जोड़ा गया है और scratch slots की जगह scratch buffer pool का इस्तेमाल किया गया है। इस बदलाव पर योगदानकर्ता Aaron Teo ने हस्ताक्षर किए हैं। Flash attention बड़े भाषा मॉडल की attention गणना को तेज़ करता है।
यह क्यों मायने रखता है
स्थानीय रूप से llama.cpp चलाने वाले उपयोगकर्ताओं के लिए flash attention अनुमान का समय घटा सकता है, जिससे चैट-आधारित मॉडल तेज़ महसूस होते हैं।
