Oossa

llama.cpp 新增 Q8_0 和 i8mm 内核,支持 Apple 与 Linux

这款开源 LLaMA 推理库新增适用于 ARM SVE 和 i8mm 的高速量化内核,并提供 macOS、iOS 和 Ubuntu 新版二进制文件。

简讯作者: Oossa 发布日期: 1 分钟阅读

llama.cpp 项目于 2026 年 10 月 22 日发布 b11811 版本。此次更新加入 Q8_0 SVE 点积 GEMV 和 SVE i8mm GEMM 内核,可加快 ARM CPU 上的量化模型推理。现已提供适用于 macOS Apple Silicon、Intel、iOS 以及多个 Ubuntu 版本(CPU、Vulkan、CUDA 12.8)的预编译二进制文件,可供下载。

为什么重要

开发者无需编写自定义代码,就能在较新的 ARM 硬件和 Linux GPU 上更快地运行 LLaMA 模型。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。