Oossa

llama.cpp 预发布版 b11517 新增 CUDA 精度选项

这款开源 LLaMA 推理库于 2026 年 10 月 9 日发布 b11517,新增可设置 source-1 精度的 CUDA 标志。

简讯作者: Oossa 发布日期: 1 分钟阅读

llama.cpp 项目于 2026 年 10 月 9 日发布了名为 b11517 的新预发布版。此次更新新增一项 CUDA 选项,用户可通过它为 MMQ 辅助函数(一项 GPU 代码底层组件)指定 source-1 精度。该改动由一位 NVIDIA 贡献者签署,适用于列出的 Linux 和 Windows CUDA 12、CUDA 13 构建版本。此次发布还包含许多其他平台的构建目标,涵盖搭载 Apple Silicon 的 macOS 设备以及 Android Snapdragon 设备。

此次更新可从项目的 GitHub 页面和 llama.app 网站获取。

为什么重要

开发者现在可以控制 llama.cpp 的 GPU 精度,这可能有助于提升运行 LLaMA 模型时的性能或减少内存占用。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。