Ollama 0.35现已支持Jev风格的决策模型API。用户可以调用全新的 /v1/systemone 端点,提交文本状态和一组命名问题,并通过一次请求获取结构化答案。目前已提供三款模型:Nimble 9B、Tev1 4B和Tev1 0.8B。
在本地运行可消除网络延迟;Nimble 9B在M5 Max MacBook上的单次决策平均耗时为91毫秒。这些模型可通过curl或TypeSafe的Python SDK使用。
为什么重要
本地决策模型可即时、低成本地完成分类任务,例如工单分流或内容审核。