Oossa

llama.cpp 新增对 Aleph Alpha Kolibri-1 的支持

b11709 版新增对一款拥有 780 亿参数的德英双语推理模型的支持。更新未说明用户可从何处获取模型权重。

简讯作者: Oossa 发布日期: 1 分钟阅读

llama.cpp 项目在 b11709 版中新增了对 Aleph Alpha 推理模型 Kolibri-1 的支持。该模型支持德语和英语,拥有 780 亿个参数,每个 token 激活 34.6 亿个参数,并采用混合专家架构。

更新介绍了对 Kolibri-1 模型架构的转换和运行支持,包括其滑动窗口注意力机制和 FP8 检查点格式。更新没有提供下载信息,也未说明哪些设备可以运行该模型。

为什么重要

llama.cpp 用户或许可以通过该项目使用 Kolibri-1,但发行说明没有说明从何处获取模型权重,也未提及所需硬件。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。