Oossa

llama.cpp b11685 为 q4_K/q5_K 解量化加入 SYCL 宽存储优化

这款开源大语言模型运行器发布 b11685,针对量化权重加入 SYCL 优化,并提供 macOS、iOS 和 Linux 预编译二进制文件。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml‑org 团队发布了 llama.cpp b11685 版本,为 q4_K 和 q5_K 权重解量化加入一项名为“宽存储”(wide stores)的 SYCL 优化。此次发布还提供了预编译二进制文件,适用于 macOS Apple Silicon、macOS Intel、iOS,以及多个 Ubuntu 版本(CPU、Vulkan 和 CUDA 12.8)。这项改动旨在加快 SYCL 兼容 GPU 上量化模型的推理速度。

为什么重要

开发者可以在 SYCL GPU 上更快地运行量化大语言模型,为 AI 应用拓宽低成本硬件选择。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。