Oossa

llama.cpp 新版支持 GQA 和更多分词器功能

开源库 llama.cpp 现已支持非标准 GQA 模型和 BPE 分词器,并扩展了平台构建支持。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml-org 团队于 2026-10-22 发布 llama.cpp b11819 版本。此次更新新增对非标准 GQA(分组查询注意力)模型和 BPE(字节对编码)分词器的支持,并加入新的 domyn-small pre-type。此外,更新还增加了对 Metaspace 前置方案的元数据处理。构建目标现涵盖更多 CPU 和 GPU 平台,包括 Apple Silicon、CUDA 12/13、Vulkan、ROCm 和 Android Snapdragon。

为什么重要

开发者现在可以在更多设备上运行更广泛的 LLM,包括采用 GQA 的模型;这些设备涵盖智能手机和 GPU。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。