Con la versione b11709, il progetto llama.cpp ha aggiunto il supporto a Kolibri-1, un modello di ragionamento in tedesco e inglese di Aleph Alpha. Il modello ha 78 miliardi di parametri, di cui 3,46 miliardi attivi per ogni token, e adotta un’architettura mixture-of-experts.
L’aggiornamento descrive il supporto alla conversione e all’esecuzione dell’architettura di Kolibri-1, inclusi il meccanismo di attenzione a finestra scorrevole e il formato FP8 dei checkpoint. Non fornisce informazioni su dove scaricarlo né specifica quali dispositivi siano in grado di eseguire il modello.
Perché conta
Chi usa llama.cpp potrebbe riuscire a lavorare con Kolibri-1 tramite il progetto, ma le note di rilascio non indicano dove reperirne i pesi né quale hardware sia necessario.
