Oossa

llama.cpp b11786新增更快的CPU GELU内核

这款开源大语言模型运行时更新了CPU数学运算,可在不使用查找表的情况下以全精度计算GELU函数。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml‑org/llama.cpp项目于2026-10-21发布b11786版。此次更新新增CPU内核,可直接计算f32 gelu_quick和geglu_quick函数,无需再使用fp16查找表。同时,项目新增了这些内核的测试,并移除了旧的inf/nan测试用例。macOS、iOS以及多个Linux发行版的预编译二进制文件现已开放下载。

为什么重要

新内核不再依赖速度较慢的查找表,因此开发者可以在CPU上更快地运行大语言模型。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。