DeepSeek已将V4.1-Flash模型的权重上传至HuggingFace,并通过Baseten的Model APIs提供。该模型总参数量为552 B,但预填充阶段仅激活8 B参数,解码阶段激活16 B,因此运行成本低于早期版本。它支持1 M token上下文窗口,并可接收文本和图像输入。Baseten的服务架构会将请求路由至已缓存所需前缀的GPU,从而进一步加快编程智能体的推理速度。
为什么重要
开发编程助手的人员可以降低GPU成本,并在不增加内存占用的情况下处理更长的提示词。
新模型在输入处理阶段使用更少参数,可降低智能体工作流的成本和内存占用。
简讯作者: OossaOossa 发布日期: 1 分钟阅读
DeepSeek已将V4.1-Flash模型的权重上传至HuggingFace,并通过Baseten的Model APIs提供。该模型总参数量为552 B,但预填充阶段仅激活8 B参数,解码阶段激活16 B,因此运行成本低于早期版本。它支持1 M token上下文窗口,并可接收文本和图像输入。Baseten的服务架构会将请求路由至已缓存所需前缀的GPU,从而进一步加快编程智能体的推理速度。
开发编程助手的人员可以降低GPU成本,并在不增加内存占用的情况下处理更长的提示词。
Oossa · 新闻简报
一周 AI,讲明白
每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。