ggml-org टीम ने llama.cpp का b11324 संस्करण जारी किया है। इस अपडेट में मेमोरी-मैप मोड जोड़ा गया है, जिससे मॉडल लोड करते समय हर टेंसर की पूरी आकार वाली दूसरी कॉपी बनाने की ज़रूरत नहीं पड़ती। यह बदलाव macOS (Apple Silicon और Intel), iOS और Ubuntu के कई बिल्ड के नए बाइनरी पैकेज में उपलब्ध है। रिलीज़ में Claude और NVIDIA के इंजीनियर Pranesh Gonegandla के योगदान का भी उल्लेख है।
यह क्यों मायने रखता है
डेवलपर उसी हार्डवेयर पर बड़े भाषा मॉडल चला सकते हैं। इससे सीमित मेमोरी वाले शौकीनों और छोटी टीमों को मदद मिलती है।
