Oossa

llama.cpp b11351 发布:新增缓冲区分配 API

2026 年 10 月 2 日的更新为 ggml 缓冲区接口引入 alloc_buffer_n,改进多设备内存管理。

简讯OossaOossa 发布日期: 1 分钟阅读

ggml-org/llama.cpp 项目于 2026-10-02 发布 b11351 版本。此次更新在 ggml_backend_buffer_type_i 接口中新增 alloc_buffer_n 方法,并提供名为 ggml_backend_buft_alloc_buffer_n 的公共 API。默认实现现在支持将缓冲区拆分到多个设备,并改进张量分配。CPU、Metal、OpenVINO 等现有缓冲区类型会为这一新方法提供 NULL 占位符。此次更新还新增了相关测试。

为什么重要

开发者现在可以在不同硬件上更可靠地管理内存,减少 AI 模型分配内存时出错的情况。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。