Le projet llama.cpp a ajouté la prise en charge de Kolibri-1, un modèle de raisonnement en allemand et en anglais d’Aleph Alpha, dans la version b11709. Le modèle compte 78 milliards de paramètres, dont 3,46 milliards sont actifs pour chaque jeton, et repose sur une architecture à mélange d’experts.
La mise à jour décrit la prise en charge de la conversion et de l’exécution de l’architecture de Kolibri-1, notamment son mécanisme d’attention à fenêtre glissante et son format de point de contrôle FP8. Elle ne précise pas où télécharger le modèle ni quels appareils peuvent le faire fonctionner.
Pourquoi c'est important
Les utilisateurs de llama.cpp pourraient désormais utiliser Kolibri-1 avec le projet, mais les notes de version ne précisent ni où obtenir ses poids ni quel matériel est nécessaire.
