Oossa

llama.cpp b11784 修复 Sycl iq3 崩溃并推出新版二进制文件

开源大语言模型运行工具 llama.cpp 更新至 b11784,修复 Sycl iq3 崩溃问题,并提供适用于 macOS、iOS、Linux 和 CUDA 的新版本。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml-org 团队发布了 llama.cpp b11784 版,修复了 Sycl iq3 后端的崩溃问题。此次发布提供预编译二进制文件,适用于 Apple Silicon、Intel Mac、iOS,以及多种 Ubuntu 配置,包括 Vulkan 和 CUDA 12.8。用户可从 GitHub 发布页面下载这些文件。

为什么重要

开发者现在可以在更多硬件上运行 llama.cpp,避免崩溃,进一步扩大本地大语言模型推理的适用范围。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。