Fireworks AIによると、同社のコーディングテストでDeepSeek V4 Pro 0813は、SWE-Bench VerifiedとLiveCodeBench v6の両方でFable 5を上回った。Fireworksの報告では、SWE-Benchの課題を1件解決するコストはDeepSeekが$0.309、Fable 5が$0.808。LiveCodeBenchでは、それぞれ$0.040と$0.225だった。
Fireworksは、Kimi K3の評価に使ったものと同じベンチマーク一式を用い、4つのベンチマーク群でDeepSeek、Kimi K3、Fable 5を比較した。同社によると、DeepSeekのスコアはSWE-Bench Verified（500課題）で95.2%、LiveCodeBench v6（100課題）で92.0%。Fable 5はそれぞれ85.4%と91.0%だった。
言語によって結果は異なる
DeepSeekがすべてのテストで首位だったわけではない。Aider Polyglot v1ではFable 5が88.0%で、DeepSeekの73.8%を上回った。Terminal-Bench 2.1ではKimi K3が80.9%で首位となり、DeepSeekとFable 5はいずれも76.4%だった。またFireworksによると、Aider PolyglotのJava課題ではDeepSeekが48.9%で、Fable 5の74.5%を下回った。
ベンチマークの表には「Oracle Routersを使用」と記されている。Fireworksはオラクルルーティングを、各課題を複数のモデルでテストし、後から最良の結果を選ぶ方法と定義している。これは理論上の上限値であり、顧客がそのまま導入できるルーティングシステムではない。Fireworksは、合計409課題のテスト群でDeepSeekとFable 5を振り分けた場合、Fable 5単独の86.6%に対して正答率が92.4%に達し、課題あたりのコストは$4.510に対して$0.279だったと報告している。
Fireworksが提供するもの
Fireworksによると、DeepSeek V4 Proは同社のサーバーレスAPIと専用環境で利用できる。また、教師ありファインチューニング、選好チューニング、強化ファインチューニングを使って、顧客がカスタム版をトレーニングすることも可能だ。情報源には、100万トークンのコンテキストウィンドウとツール呼び出しにも対応するとある。ベンチマーク結果を第三者が検証したものではない。
Fireworksは、テスト環境が性能に影響したとも指摘している。同社は、最初から標準の大規模なツール一覧を使うより、最小限のツールから始めたほうが、ツール呼び出しの一貫性が高まることを確認したという。報告されたスコアの再現を試みる開発者にとって、これは実務上の留意点となる。
なぜ重要か
コーディングエージェントの運用費を負担するチームにとって、Fireworksの報告は、SWE-BenchやLiveCodeBenchのような課題ではDeepSeek V4 Proが低コストの選択肢になり得ることを示している。ただし、結果はFireworks独自のテストに基づき、ベンチマークや言語によって性能は異なる。また、最も高いルーティング結果は、顧客がそのまま導入できない事後的な手法によるものだ。
