Fireworks AI affirme que DeepSeek V4 Pro 0813 a obtenu de meilleurs résultats que Fable 5 sur SWE-Bench Verified et LiveCodeBench v6 lors des tests de codage de l’entreprise. Fireworks a indiqué un coût de $0.309 par tâche SWE-Bench résolue pour DeepSeek, contre $0.808 pour Fable 5, et de $0.040 contre $0.225 par tâche LiveCodeBench résolue.
Fireworks a comparé DeepSeek à Kimi K3 et Fable 5 sur quatre familles de benchmarks, en utilisant la même suite d’évaluation que pour Kimi K3. Selon l’entreprise, DeepSeek a obtenu 95.2% sur SWE-Bench Verified (500 tâches) et 92.0% sur LiveCodeBench v6 (100 tâches). Fable 5 a obtenu respectivement 85.4% et 91.0%.
Les résultats varient selon le langage
DeepSeek n’est pas arrivé en tête de tous les tests. Sur Aider Polyglot v1, Fable 5 a obtenu 88.0%, contre 73.8% pour DeepSeek ; sur Terminal-Bench 2.1, Kimi K3 a pris la tête avec 80.9%, tandis que DeepSeek et Fable 5 ont tous deux obtenu 76.4%. Fireworks a également indiqué que DeepSeek avait obtenu 48.9% sur les tâches Java d’Aider Polyglot, contre 74.5% pour Fable 5.
Le tableau des benchmarks est présenté comme regroupant des résultats « avec des routeurs oracle ». Fireworks définit le routage oracle comme une méthode qui consiste à tester chaque tâche avec plusieurs modèles, puis à retenir le meilleur résultat. Il s’agit d’une limite théorique supérieure, et non d’un système de routage que les clients peuvent déployer tel quel. Sur un ensemble de 409 tâches, Fireworks indique que le routage entre DeepSeek et Fable 5 a atteint une précision de 92.4%, contre 86.6% pour Fable seul, pour un coût de $0.279 contre $4.510 par tâche.
Les offres de Fireworks
Fireworks affirme que DeepSeek V4 Pro est disponible via son API sans serveur et en déploiements dédiés. L’entreprise indique aussi que les clients peuvent entraîner des versions personnalisées par réglage fin supervisé, réglage fin des préférences ou réglage fin par renforcement. La source mentionne également une fenêtre de contexte de 1-million-token et l’appel d’outils. Les résultats des benchmarks n’ont pas fait l’objet d’une validation indépendante.
Fireworks précise que son protocole de test a influé sur les performances : l’entreprise a constaté qu’un démarrage avec un ensemble minimal d’outils produisait des appels d’outils plus cohérents qu’un démarrage avec un catalogue standard plus fourni. C’est un point pratique à prendre en compte pour les développeurs qui cherchent à reproduire les scores publiés.
Pourquoi c'est important
Pour les équipes qui paient pour faire fonctionner des agents de codage, les coûts rapportés par Fireworks laissent penser que DeepSeek V4 Pro pourrait être une option moins chère pour des tâches comme celles de SWE-Bench et LiveCodeBench. Mais ces résultats proviennent des propres tests de Fireworks, les performances varient selon le benchmark et le langage, et le meilleur résultat de routage repose sur une méthode appliquée après coup que les clients ne peuvent pas déployer directement.
