ggml‑org 团队发布了 llama.cpp b12345 版本。该版本新增对 Q5_0 和 Q5_1 量化的支持，这是一种 5 位压缩技术，可加快推理速度。更新还为 Hexagon 设备上的这两种格式加入了专用内核。预编译二进制文件适用于 macOS Apple Silicon、macOS Intel、iOS，以及多个 Ubuntu 版本，包括仅支持 CPU 和支持 Vulkan 的版本。
为什么重要
开发者可以在低功耗硬件上更快地运行大语言模型，让更多设备能够托管本地 AI 模型。
llama.cpp 0.5 发布，新增 Q5_0 和 Q5_1 量化支持
这款开源大模型运行工具现已支持两种新的 5 位格式，并提供适用于 macOS、iOS 和多个 Ubuntu 平台的二进制文件。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。