Oossa

llama.cpp b11761 为 ARM NEON 添加 fp32 转 fp16 硬件转换

2026年10月21日发布的版本修复了 ARM NEON 路径中的隐藏问题,启用硬件 fp32 转 fp16,可加快 Apple Silicon 等 ARM 处理器上的推理速度。

简讯作者: Oossa 发布日期: 1 分钟阅读

开源库 llama.cpp 于2026年10月21日发布 b11761 版本。此次更新修正了 NEON 分支,让 fp32 转 fp16 改用硬件指令,而不是软件回退方案。此外,更新还加入编译时错误检查,以发现类似的宏不匹配问题。根据发行说明,此修复适用于 macOS Apple Silicon、Linux ARM64 和 Android ARM 设备。

为什么重要

ARM 设备用户的模型推理速度将有所提升,因为该库现在会使用处理器原生的半精度转换功能。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。