ggml‑org टीम ने llama.cpp का संस्करण b11494 जारी किया है। इस अपडेट में CUDA बैकएंड को हर वॉर्प में दो के बजाय GDN की चार स्टेट कॉलम असाइन करने के लिए बदला गया है। अब यही डिफ़ॉल्ट सेटिंग है। macOS (Apple Silicon और Intel), iOS और Ubuntu के कई बिल्ड डाउनलोड के लिए उपलब्ध हैं।
यह क्यों मायने रखता है
NVIDIA GPU पर llama.cpp इस्तेमाल करने वाले डेवलपर बिना कोड बदले तेज़ इन्फ़रेंस की उम्मीद कर सकते हैं।