Das llama.cpp-Projekt unterstützt Kolibri-1, ein deutsch- und englischsprachiges Reasoning-Modell von Aleph Alpha, ab Release b11709. Das Modell hat 78 Milliarden Parameter, von denen pro Token 3,46 Milliarden aktiv sind, und basiert auf einer Mixture-of-Experts-Architektur.
Das Update beschreibt die Unterstützung für die Konvertierung und Ausführung von Kolibri-1s Modellarchitektur, einschließlich ihrer Sliding-Window-Attention und des FP8-Checkpoint-Formats. Angaben zum Download oder dazu, auf welchen Geräten das Modell läuft, fehlen.
Warum es wichtig ist
Nutzer von llama.cpp können Kolibri-1 möglicherweise mit dem Projekt verwenden. Aus den Release Notes geht jedoch weder hervor, wo die Gewichte erhältlich sind, noch welche Hardware benötigt wird.
