ggml-org द्वारा मेंटेन की जाने वाली llama.cpp लाइब्रेरी का संस्करण b11597, 13 अक्तूबर 2026 को जारी हुआ। इस अपडेट में कंप्यूटेशन ग्राफ़ बदला गया है, ताकि जब किसी context से pooled embeddings निकाले जाएँ, तो मॉडल अब बड़ा LM-head logits layer न बनाए। इससे मेमोरी का इस्तेमाल घटता है और केवल embeddings वाले कामों के लिए inference तेज़ होता है। आकार एक-जैसा बनाए रखने के लिए इससे जुड़े ग्राफ़ नोड्स में भी बदलाव किया गया है।
यह क्यों मायने रखता है
Embeddings निकालने वाले डेवलपर llama.cpp मॉडल को तेज़ी से और कम क्षमता वाले हार्डवेयर पर चला सकते हैं।
