Fireworks AI는 자사 코딩 테스트에서 DeepSeek V4 Pro 0813이 SWE-Bench Verified와 LiveCodeBench v6에서 Fable 5보다 높은 점수를 받았다고 밝혔다. Fireworks에 따르면 SWE-Bench 작업을 해결하는 데 든 비용은 DeepSeek가 작업당 $0.309, Fable 5가 $0.808이었고, LiveCodeBench 작업에서는 각각 $0.040와 $0.225였다.
Fireworks는 Kimi K3 평가에 사용했던 것과 같은 평가 도구를 활용해 4개 벤치마크군에서 DeepSeek를 Kimi K3, Fable 5와 비교했다. 회사에 따르면 DeepSeek는 SWE-Bench Verified(500개 작업)에서 95.2%, LiveCodeBench v6(100개 작업)에서 92.0%를 기록했다. Fable 5의 점수는 각각 85.4%, 91.0%였다.
언어별 결과는 달랐다
DeepSeek가 모든 테스트에서 앞선 것은 아니다. Aider Polyglot v1에서는 Fable 5가 88.0%를 기록해 DeepSeek의 73.8%를 앞섰고, Terminal-Bench 2.1에서는 Kimi K3가 80.9%로 선두를 차지했다. DeepSeek와 Fable 5는 각각 76.4%였다. Fireworks는 Aider Polyglot의 Java 작업에서 DeepSeek가 48.9%를 기록한 반면 Fable 5는 74.5%였다고도 밝혔다.
벤치마크 표에는 결과가 “Oracle Routers”를 사용한 것으로 표시돼 있다. Fireworks는 오라클 라우팅을 여러 모델로 각 작업을 테스트한 뒤 사후에 가장 좋은 결과를 고르는 방식이라고 설명한다. 이는 이론상 가능한 상한치일 뿐, 고객이 그대로 배포할 수 있는 라우팅 시스템은 아니다. Fireworks에 따르면 409개 작업으로 구성된 통합 평가에서 DeepSeek와 Fable 5를 조합한 라우팅은 Fable 단독 사용의 86.6%보다 높은 92.4%의 정확도를 기록했다. 작업당 비용은 각각 $0.279, $4.510이었다.
Fireworks가 제공하는 기능
Fireworks는 DeepSeek V4 Pro를 서버리스 API와 전용 배포 방식으로 이용할 수 있으며, 고객은 지도 미세 조정, 선호도 튜닝 또는 강화 미세 조정을 통해 맞춤형 버전을 학습시킬 수 있다고 밝혔다. 원문에는 1-million-token 컨텍스트 윈도우와 도구 호출 기능도 언급돼 있다. 벤치마크 결과에 대한 독립적인 검증은 제공하지 않았다.
Fireworks는 테스트 환경이 성능에 영향을 미쳤다고 덧붙였다. 처음부터 규모가 큰 기본 도구 목록을 사용하는 것보다 최소한의 도구만 제공했을 때 도구 호출 결과가 더 일관적이었다는 것이다. 이는 공개된 점수를 재현하려는 개발자가 고려해야 할 실질적인 변수다.
왜 중요한가
코딩 에이전트를 운영하는 데 비용을 지출하는 팀이라면 Fireworks가 공개한 수치상 DeepSeek V4 Pro가 SWE-Bench나 LiveCodeBench 같은 작업에서 더 저렴한 선택지가 될 수 있다. 다만 결과는 Fireworks 자체 테스트에서 나온 것이고, 벤치마크와 언어에 따라 성능이 달랐다. 가장 높은 라우팅 성능도 고객이 직접 배포할 수 없는 사후 평가 방식에 기반한다.
