El proyecto llama.cpp añadió compatibilidad con Kolibri-1, un modelo de razonamiento en alemán e inglés de Aleph Alpha, en la versión b11709. El modelo tiene 78.000 millones de parámetros, de los cuales 3.460 millones están activos para cada token, y utiliza una arquitectura de mezcla de expertos.
La actualización describe la compatibilidad con la conversión y ejecución de la arquitectura del modelo Kolibri-1, incluida su atención de ventana deslizante y el formato de puntos de control FP8. No ofrece detalles para descargarlo ni indica qué dispositivos pueden ejecutar el modelo.
Por qué importa
Quienes usan llama.cpp quizá puedan trabajar con Kolibri-1 a través del proyecto, pero las notas de la versión no indican dónde conseguir sus pesos ni qué hardware se necesita.
