Oossa

llama.cpp b11792 支持数据更久留在 GPU 上

这款开源大语言模型运行时发布了新版本二进制文件,并推出一项 GPU 优化,让数据在 GPU 上停留更久。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml‑org 团队于 2026‑10‑21 发布 llama.cpp b11792。此次更新调整了 set_rows 调用,让数据可以留在 GPU 上,从而提升 GPU 用户的运行速度。现已提供 macOS Apple Silicon、macOS Intel、iOS,以及多个 Ubuntu 版本(CPU、Vulkan、CUDA 12.8)的预编译二进制文件。发布链接已公布在 GitHub 标签页上。

发布说明将这项改动列为:“根据 set_rows 的用法放置 d2t,使其可以留在 GPU 上(#30912)”。

为什么重要

开发者可以在兼容的 GPU 上更快地运行 Llama 模型,同时无需额外传输数据。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。