ggml‑org发布了llama.cpp b12206版。此次更新修复了MoE（混合专家）缓存问题，使CPU部分不再等待缓存中的专家模型。现在，用户可下载适用于Apple Silicon macOS、Intel macOS、iOS，以及多种Ubuntu配置的预编译二进制文件，涵盖x64、arm64和s390x，并支持Vulkan或zDNN。
为什么重要
开发者可以在自己的设备上更快地运行大语言模型，避免此前MoE缓存造成的CPU瓶颈。
llama.cpp b12206版优化MoE缓存，减少CPU等待
这款开源大语言模型运行时推出适用于macOS、iOS和多种Linux版本的二进制文件，并改进MoE缓存处理，避免CPU工作停滞。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。