Projektet llama.cpp lade till stöd för Kolibri-1, en tysk- och engelskspråkig resonemangsmodell från Aleph Alpha, i version b11709. Modellen har 78 miljarder parametrar, varav 3,46 miljarder är aktiva för varje token, och bygger på en mixture-of-experts-arkitektur.
Uppdateringen beskriver stöd för att konvertera och köra Kolibri-1:s modellarkitektur, inklusive dess attention med glidande fönster och checkpointformatet FP8. Den innehåller inga uppgifter om nedladdning och säger inte vilka enheter som kan köra modellen.
Varför det spelar roll
Den som använder llama.cpp kan kanske arbeta med Kolibri-1 via projektet, men versionsinformationen klargör inte var modellens vikter finns eller vilken hårdvara som krävs.
