Oossa

Baseten为开源模型新增延迟加载工具,智能体成本最高降62%

这项新功能可减少token用量、加快任务执行,编程智能体成本最高降低62.5%,耗时缩短26%。

简讯作者: Oossa 发布日期: 1 分钟阅读

Baseten宣布,其Model APIs现已支持为DeepSeek、Kimi和GLM等开源模型延迟加载工具。这项改动不会把工具的schema放进系统提示词,而是在需要时才加载。在Claude Code使用三个已注册插件进行的测试中,编程基准测试成本降低了62.5%,速度提升了26.2%。智能体基准测试的成本也降低了约51%,耗时缩短约15%。

为什么重要

开发者无需更换模型或修改代码,就能以更低成本、更快速度运行AI智能体。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。