ggml‑org टीम ने llama.cpp का वर्ज़न b11293 जारी किया है। इसमें CPU और CUDA, दोनों के लिए BF16 (हाफ़-प्रिसिज़न संख्या फ़ॉर्मैट) के unary, GLU, binary और scale ऑपरेशन जोड़े गए हैं। इस बदलाव में BF16 बिल्ड से जुड़ी समस्या ठीक करने के लिए CUDA kernels भी अपडेट किए गए हैं। यह अपडेट macOS और Windows से लेकर Linux और Android तक कई प्लेटफ़ॉर्म के लिए उपलब्ध है।
यह क्यों मायने रखता है
डेवलपर अब नए GPUs जैसे BF16 सपोर्ट करने वाले हार्डवेयर पर llama.cpp मॉडल तेज़ी से चला सकते हैं।