Oossa

llama.cpp b12318版新增 CUDA 调试缓冲池

这款开源 LLaMA 推理库新增 CUDA 调试缓冲池,并更新了 macOS、iOS 和 Linux 的预编译版本。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml‑org 于 2026‑11‑12 发布 llama.cpp b12318 版。此次更新新增 CUDA 调试缓冲池,帮助开发者借助 compute-sanitizer 跟踪内存使用情况,还为 Apple Silicon、Intel macOS、iOS 以及多个 Ubuntu CPU 和 Vulkan 目标平台提供了新的预编译二进制文件。

为什么重要

在 NVIDIA GPU 上运行 LLaMA 模型的开发者现在可以更轻松地排查内存问题,从而减少推理过程中的崩溃。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。