Het llama.cpp-project heeft in release b11709 ondersteuning toegevoegd voor Kolibri-1, een Duits- en Engelstalig redeneermodel van Aleph Alpha. Het model heeft 78 miljard parameters, waarvan er voor elke token 3,46 miljard actief zijn, en maakt gebruik van een mixture-of-experts-architectuur.
De update beschrijft ondersteuning voor het converteren en uitvoeren van de modelarchitectuur van Kolibri-1, inclusief de sliding-window-aandacht en het FP8-checkpointformaat. Er staat niet bij waar het model kan worden gedownload of op welke apparaten het kan draaien.
Waarom het ertoe doet
Gebruikers van llama.cpp kunnen mogelijk met Kolibri-1 aan de slag via het project, maar uit de releasenotities blijkt niet waar ze de modelgewichten kunnen krijgen of welke hardware nodig is.
