llama.cpp 项目在 b11709 版中新增了对 Aleph Alpha 推理模型 Kolibri-1 的支持。该模型支持德语和英语,拥有 780 亿个参数,每个 token 激活 34.6 亿个参数,并采用混合专家架构。
更新介绍了对 Kolibri-1 模型架构的转换和运行支持,包括其滑动窗口注意力机制和 FP8 检查点格式。更新没有提供下载信息,也未说明哪些设备可以运行该模型。
为什么重要
llama.cpp 用户或许可以通过该项目使用 Kolibri-1,但发行说明没有说明从何处获取模型权重,也未提及所需硬件。