Fireworks AI称，在该公司的编程测试中，DeepSeek V4 Pro 0813在SWE-Bench Verified和LiveCodeBench v6上的得分高于Fable 5。Fireworks报告称，DeepSeek每完成一项SWE-Bench任务的成本为$0.309，Fable 5为$0.808；在LiveCodeBench上，两者每完成一项任务的成本分别为$0.040和$0.225。
Fireworks使用与此前测试Kimi K3相同的评测套件，在四类基准测试中将DeepSeek与Kimi K3和Fable 5进行比较。该公司称，DeepSeek在SWE-Bench Verified（500项任务）上的得分为95.2%，在LiveCodeBench v6（100项任务）上的得分为92.0%。Fable 5的相应得分分别为85.4%和91.0%。
不同语言的测试结果各有差异
DeepSeek并非在所有测试中都领先。在Aider Polyglot v1上，Fable 5得分为88.0%，高于DeepSeek的73.8%；在Terminal-Bench 2.1上，Kimi K3以80.9%领先，DeepSeek和Fable 5的得分均为76.4%。Fireworks还报告称，在Aider Polyglot的Java任务中，DeepSeek得分为48.9%，而Fable 5为74.5%。
基准测试表格注明结果是在“Oracle Routers”条件下得出的。Fireworks将oracle路由定义为：用多个模型测试每项任务，再事后选出最佳结果。这只是理论上的上限，并非客户可以直接部署的路由系统。在一个由409项任务组成的综合测试组中，Fireworks报告称，在DeepSeek和Fable 5之间进行路由，准确率达到92.4%，高于单独使用Fable 5时的86.6%；每项任务的成本则分别为$0.279和$4.510。
Fireworks提供什么
Fireworks称，DeepSeek V4 Pro可通过其无服务器API和专属部署使用，客户还可以通过监督微调、偏好调优或强化微调来训练定制版本。来源还提到，该模型支持1-million-token上下文窗口和工具调用，但未提供对这些基准测试结果的独立验证。
Fireworks指出，其测试设置会影响模型表现：该公司发现，与一开始就使用较大的标准工具目录相比，先从一组精简工具开始，工具调用表现更稳定。对于希望复现所报告成绩的开发者来说，这是一个实际限制。
为什么重要
对于需要付费运行编程智能体的团队，Fireworks报告的成本数据表明，DeepSeek V4 Pro在SWE-Bench和LiveCodeBench等任务上可能是更便宜的选择。但这些结果来自Fireworks自己的测试，模型表现因基准测试和编程语言而异，而且最突出的路由结果依赖一种事后选优的方法，客户无法直接部署。
