Oossa

Ollama v0.40.5 候选版加入 CUDA 内核

Ollama v0.40.5-rc0 将 Metal 自定义内核移植到 CUDA,并调整了 Responses API 的工具调用历史记录功能。这是一个候选版本。

简讯作者: Oossa 发布日期: 1 分钟阅读

Ollama 发布了本地 AI 软件的 v0.40.5-rc0 候选版。此次更新将此前用于 Apple Metal 图形技术的自定义内核移植到了 NVIDIA 的 GPU 计算平台 CUDA。

更新还允许兼容 OpenAI 的 Responses API 在对话历史记录中接受自定义工具调用。发布说明未提供性能数据,也未说明正式版 v0.40.5 将于何时推出。

为什么重要

对使用 NVIDIA GPU 的 Ollama 用户来说,移植到 CUDA 后,这些自定义内核或可在他们的硬件上使用;不过,发布说明没有提供性能数据,也未确认正式版会有哪些变化。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。