ggml‑org 团队发布了 llama.cpp b11757 版。此次更新会在旧版内存池完成清理后清除 CUDA 图，有望减少 GPU 内存泄漏。现在提供预编译二进制文件，适用于 Apple Silicon 版 macOS、Intel 版 macOS、iOS，以及多个 Ubuntu 版本（CPU、Vulkan 和 CUDA 12.8）。该版本已发布在 GitHub 上。
为什么重要
此次修复有望减少在 Nvidia GPU 上运行 Llama 模型时出现的内存不足错误。
llama.cpp b11757 修复 CUDA 图处理问题
开源 Llama 推理库发布 b11757 版，修复 CUDA 图处理问题，并新增适用于 macOS、iOS 和 Linux 的二进制文件。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。