Ollama 宣布推出 0.40.17-rc0 版本。此次更新为 Vulkan GPU 增加了 mmap 支持，让模型能更高效地使用 GPU 内存；同时，MLX 后端现在支持并发文本生成，ChatGPT 命令行界面在崩溃后也能更顺畅地恢复。llama.cpp 库已升级至提交 b12257，另有一位新贡献者提交了首个拉取请求。
为什么重要
在兼容的 GPU 上，开发者可以更快地运行更大的模型，从而降低本地 AI 应用的延迟。
Ollama 发布 0.40.17-rc0 版本
这款开源 AI 运行时新增 GPU 内存映射和并发生成，并优化了 ChatGPT CLI 崩溃后的恢复体验。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。