Oossa

llama.cpp b11555 修复 CPU 问题并推出新版二进制包

开源 Llama 推理库更新至 b11555,修复了支持 AVX2 但未启用 F16C 的问题,并为 macOS、iOS 和 Linux 发布了新版构建。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml‑org 发布了 llama.cpp b11555 版本。此次更新修复了一项问题:即使 AVX2 CPU 支持 F16C 指令集,程序也没有使用它。新版本还提供了适用于 macOS Apple Silicon、macOS Intel、iOS 以及多种 Ubuntu 配置的二进制包,其中包括支持 Vulkan 和 CUDA 12.8 的版本。

为什么重要

在兼容 CPU 上运行 Llama 模型的开发者,无需手动打补丁即可获得更快的推理速度。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。