Fireworks AI zegt dat DeepSeek V4 Pro 0813 in de programmeertests van het bedrijf hoger scoorde dan Fable 5 op SWE-Bench Verified en LiveCodeBench v6. Fireworks rapporteerde kosten van $0.309 per opgeloste SWE-Bench-taak voor DeepSeek, tegenover $0.808 voor Fable 5. Voor LiveCodeBench waren de kosten $0.040 tegenover $0.225 per opgeloste taak.
Fireworks vergeleek DeepSeek met Kimi K3 en Fable 5 aan de hand van vier benchmarkreeksen, met dezelfde evaluatieset als bij de test van Kimi K3. Volgens het bedrijf scoorde DeepSeek 95.2% op SWE-Bench Verified (500 taken) en 92.0% op LiveCodeBench v6 (100 taken). Fable 5 behaalde respectievelijk 85.4% en 91.0%.
Resultaten verschillen per programmeertaal
DeepSeek was niet bij elke test de beste. Op Aider Polyglot v1 scoorde Fable 5 88.0%, tegenover 73.8% voor DeepSeek. Op Terminal-Bench 2.1 liep Kimi K3 voorop met 80.9%; DeepSeek en Fable 5 scoorden allebei 76.4%. Fireworks meldde ook dat DeepSeek 48.9% behaalde op Java-taken in Aider Polyglot, tegenover 74.5% voor Fable 5.
De benchmarktabel vermeldt resultaten ‘met Oracle Routers’. Fireworks omschrijft oracle routing als een test waarbij elke taak met meerdere modellen wordt uitgevoerd en achteraf het beste resultaat wordt gekozen. Dit is een theoretische bovengrens, geen routingsysteem dat klanten direct kunnen inzetten. Op een gecombineerde set van 409 taken rapporteert Fireworks dat routering tussen DeepSeek en Fable 5 een nauwkeurigheid van 92.4% opleverde, tegenover 86.6% voor alleen Fable, tegen kosten van $0.279 tegenover $4.510 per taak.
Wat Fireworks aanbiedt
Volgens Fireworks is DeepSeek V4 Pro beschikbaar via de serverless API en speciale implementaties van het bedrijf. Klanten kunnen aangepaste versies trainen met supervised fine-tuning, preference tuning of reinforcement fine-tuning. De bron noemt ook een contextvenster van 1 miljoen tokens en ondersteuning voor toolaanroepen. Onafhankelijke bevestiging van de benchmarkresultaten ontbreekt.
Fireworks merkt op dat de testopzet invloed had op de prestaties: het bedrijf zag dat beginnen met een minimale set tools tot consistentere toolaanroepen leidde dan starten met een grotere standaardcatalogus. Dat is een praktische kanttekening voor ontwikkelaars die de gerapporteerde scores willen reproduceren.
Waarom het ertoe doet
Voor teams die betalen om codeeragenten in te zetten, wijzen de door Fireworks gerapporteerde kosten erop dat DeepSeek V4 Pro voor taken als SWE-Bench en LiveCodeBench een goedkopere optie kan zijn. De resultaten zijn echter afkomstig uit eigen tests van Fireworks, de prestaties verschilden per benchmark en programmeertaal, en het beste resultaat met routering berust op een methode achteraf die klanten niet rechtstreeks kunnen inzetten.
