llama.cpp projesi, b11709 sürümüyle Aleph Alpha’nın Almanca ve İngilizce dillerinde çalışan akıl yürütme modeli Kolibri-1’e destek ekledi. Model 78 milyar parametreye sahip; her token için bunların 3,46 milyarı etkin durumda ve model, uzman karışımı (mixture-of-experts) mimarisi kullanıyor.
Güncellemede Kolibri-1’in kayan pencere dikkat mekanizması ve FP8 kontrol noktası biçimi dahil olmak üzere model mimarisinin dönüştürülmesi ve çalıştırılması için destek sunulduğu belirtiliyor. Modelin nereden indirilebileceğine veya hangi cihazlarda çalıştırılabileceğine ilişkin bilgi verilmiyor.
Neden önemli
llama.cpp kullananlar proje aracılığıyla Kolibri-1 ile çalışabilecek; ancak sürüm notları modelin ağırlıklarının nereden edinilebileceğini veya hangi donanımın gerektiğini açıklamıyor.
