O projeto llama.cpp adicionou suporte ao Kolibri-1, modelo de raciocínio em alemão e inglês da Aleph Alpha, na versão b11709. O modelo tem 78 bilhões de parâmetros, dos quais 3,46 bilhões são ativados para cada token, e usa uma arquitetura de mistura de especialistas.
A atualização descreve o suporte à conversão e à execução da arquitetura do Kolibri-1, incluindo sua atenção com janela deslizante e o formato de checkpoint FP8. Ela não informa detalhes para download nem quais dispositivos conseguem executar o modelo.
Por que importa
Quem usa o llama.cpp talvez consiga trabalhar com o Kolibri-1 por meio do projeto, mas as notas da versão não informam onde obter os pesos nem qual hardware é necessário.
