llama.cpp प्रोजेक्ट ने रिलीज़ b11709 में Aleph Alpha के जर्मन और अंग्रेज़ी भाषा वाले रीजनिंग मॉडल Kolibri-1 का सपोर्ट जोड़ा। मॉडल में 78 अरब पैरामीटर हैं, जिनमें से हर टोकन के लिए 3.46 अरब सक्रिय होते हैं। यह मिक्सचर-ऑफ-एक्सपर्ट्स डिज़ाइन पर आधारित है।
अपडेट में Kolibri-1 के मॉडल आर्किटेक्चर को कन्वर्ट करने और चलाने का सपोर्ट शामिल है। इसमें इसकी स्लाइडिंग-विंडो अटेंशन और FP8 चेकपॉइंट फ़ॉर्मेट भी शामिल हैं। इसमें डाउनलोड की जानकारी नहीं दी गई है और न ही बताया गया है कि मॉडल किन डिवाइस पर चल सकता है।
यह क्यों मायने रखता है
llama.cpp इस्तेमाल करने वाले लोग इस प्रोजेक्ट के ज़रिए Kolibri-1 के साथ काम कर सकते हैं, लेकिन रिलीज़ नोट्स में यह स्पष्ट नहीं है कि इसके वेट्स कहाँ मिलेंगे या इसके लिए किस हार्डवेयर की ज़रूरत होगी।
