Fireworks AI zufolge erzielte DeepSeek V4 Pro 0813 in den Coding-Tests des Unternehmens höhere Werte als Fable 5 bei SWE-Bench Verified und LiveCodeBench v6. Fireworks gab Kosten von $0.309 pro gelöster SWE-Bench-Aufgabe für DeepSeek an, gegenüber $0.808 für Fable 5. Bei LiveCodeBench lagen die Kosten pro gelöster Aufgabe bei $0.040 beziehungsweise $0.225.
Fireworks verglich DeepSeek, Kimi K3 und Fable 5 in vier Benchmark-Familien und verwendete dabei dieselbe Testsuite wie beim Vergleich mit Kimi K3. Nach Angaben des Unternehmens erreichte DeepSeek 95.2% bei SWE-Bench Verified (500 Aufgaben) und 92.0% bei LiveCodeBench v6 (100 Aufgaben). Fable 5 kam auf 85.4% beziehungsweise 91.0%.
Die Ergebnisse unterscheiden sich je nach Sprache
DeepSeek lag nicht in jedem Test vorn. Bei Aider Polyglot v1 erzielte Fable 5 88.0%, DeepSeek dagegen 73.8%. Bei Terminal-Bench 2.1 führte Kimi K3 mit 80.9%; DeepSeek und Fable 5 kamen jeweils auf 76.4%. Fireworks gab außerdem an, dass DeepSeek bei Java-Aufgaben in Aider Polyglot 48.9% erreichte, verglichen mit 74.5% für Fable 5.
Die Benchmark-Tabelle weist die Ergebnisse als „with Oracle Routers“ aus. Fireworks versteht darunter, jede Aufgabe mit mehreren Modellen zu testen und anschließend das beste Ergebnis auszuwählen. Das ist eine theoretische Obergrenze und kein Routing-System, das Kunden direkt einsetzen können. In einer gemeinsamen Stichprobe von 409 Aufgaben erreichte das Routing zwischen DeepSeek und Fable laut Fireworks eine Genauigkeit von 92.4%, gegenüber 86.6% bei Fable allein. Die Kosten lagen bei $0.279 statt $4.510 pro Aufgabe.
Was Fireworks anbietet
DeepSeek V4 Pro ist Fireworks zufolge über die serverlose API des Unternehmens sowie als dedizierte Bereitstellung verfügbar. Kunden können außerdem eigene Versionen mit überwachtem Fine-Tuning, Preference Tuning oder Reinforcement Fine-Tuning trainieren. In der Quelle werden zudem ein Kontextfenster von 1 Million Tokens und Tool-Aufrufe genannt. Eine unabhängige Überprüfung der Benchmark-Ergebnisse liegt nicht vor.
Fireworks weist darauf hin, dass die Testkonfiguration die Leistung beeinflusste: Das Unternehmen stellte fest, dass sich Tool-Aufrufe besser reproduzieren ließen, wenn zunächst nur eine minimale Auswahl an Tools bereitgestellt wurde, statt mit einem größeren Standardkatalog zu beginnen. Das ist ein praktischer Vorbehalt für Entwickler, die die veröffentlichten Werte nachstellen möchten.
Warum es wichtig ist
Für Teams, die Coding-Agenten betreiben, deuten die von Fireworks gemeldeten Kosten darauf hin, dass DeepSeek V4 Pro bei Aufgaben wie SWE-Bench und LiveCodeBench eine günstigere Option sein könnte. Die Ergebnisse stammen jedoch aus eigenen Tests von Fireworks, die Leistung unterschied sich je nach Benchmark und Programmiersprache, und das beste Routing-Ergebnis beruht auf einem nachträglichen Verfahren, das Kunden nicht direkt einsetzen können.
