OossaAI 发展迅速。我们用简单的话讲清楚。

Ollama 0.35新增Jev风格决策模型API

Ollama 0.35推出 /v1/systemone 端点,支持快速本地决策模型,并首发三款模型,包括 Nimble 9B 和 Tev1 系列。

简讯Oossa1 分钟阅读

Ollama 0.35现已支持Jev风格的决策模型API。用户可以调用全新的 /v1/systemone 端点,提交文本状态和一组命名问题,并通过一次请求获取结构化答案。目前已提供三款模型:Nimble 9B、Tev1 4B和Tev1 0.8B。

在本地运行可消除网络延迟;Nimble 9B在M5 Max MacBook上的单次决策平均耗时为91毫秒。这些模型可通过curl或TypeSafe的Python SDK使用。

为什么重要

本地决策模型可即时、低成本地完成分类任务,例如工单分流或内容审核。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。