В релизе b11709 проект llama.cpp добавил поддержку Kolibri-1 — модели рассуждений от Aleph Alpha, работающей на немецком и английском языках. У модели 78 млрд параметров, из которых для каждого токена активны 3,46 млрд; она использует архитектуру смеси экспертов.
Обновление добавляет поддержку преобразования и запуска архитектуры Kolibri-1, включая скользящее окно внимания и формат контрольных точек FP8. В релизе не указано, где скачать модель и на каких устройствах её можно запустить.
Почему это важно
Пользователи llama.cpp, возможно, смогут работать с Kolibri-1 через проект, однако из примечаний к релизу не ясно, где получить веса модели и какое оборудование потребуется.
