Ollama 发布了本地 AI 软件的 v0.40.5-rc0 候选版。此次更新将此前用于 Apple Metal 图形技术的自定义内核移植到了 NVIDIA 的 GPU 计算平台 CUDA。
更新还允许兼容 OpenAI 的 Responses API 在对话历史记录中接受自定义工具调用。发布说明未提供性能数据,也未说明正式版 v0.40.5 将于何时推出。
为什么重要
对使用 NVIDIA GPU 的 Ollama 用户来说,移植到 CUDA 后,这些自定义内核或可在他们的硬件上使用;不过,发布说明没有提供性能数据,也未确认正式版会有哪些变化。