Fireworks AI का कहना है कि उसके कोडिंग परीक्षणों में DeepSeek V4 Pro 0813 ने SWE-Bench Verified और LiveCodeBench v6 पर Fable 5 से बेहतर स्कोर किया। Fireworks के मुताबिक, SWE-Bench के हर हल किए गए टास्क पर DeepSeek की लागत $0.309 रही, जबकि Fable 5 की $0.808। LiveCodeBench के हर हल किए गए टास्क पर यह लागत क्रमशः $0.040 और $0.225 रही।
Fireworks ने चार तरह के बेंचमार्क पर DeepSeek की तुलना Kimi K3 और Fable 5 से की। इसके लिए उसने वही मूल्यांकन सुइट इस्तेमाल किया, जिसका उपयोग Kimi K3 के परीक्षण में किया था। कंपनी का कहना है कि DeepSeek ने SWE-Bench Verified (500 टास्क) पर 95.2% और LiveCodeBench v6 (100 टास्क) पर 92.0% स्कोर किया। Fable 5 के स्कोर क्रमशः 85.4% और 91.0% रहे।
अलग-अलग भाषाओं में नतीजे अलग रहे
DeepSeek हर परीक्षण में आगे नहीं रहा। Aider Polyglot v1 पर Fable 5 ने 88.0% स्कोर किया, जबकि DeepSeek का स्कोर 73.8% रहा। Terminal-Bench 2.1 पर Kimi K3 ने 80.9% के साथ बढ़त बनाई; DeepSeek और Fable 5, दोनों ने 76.4% स्कोर किया। Fireworks ने यह भी बताया कि Aider Polyglot में Java टास्क पर DeepSeek का स्कोर 48.9% रहा, जबकि Fable 5 ने 74.5% हासिल किए।
बेंचमार्क तालिका में नतीजों को “Oracle Routers के साथ” मिले स्कोर के रूप में दिखाया गया है। Fireworks के मुताबिक, oracle routing में हर टास्क को कई मॉडल से जांचा जाता है और फिर बाद में सबसे अच्छा नतीजा चुना जाता है। यह सैद्धांतिक रूप से हासिल की जा सकने वाली ऊपरी सीमा है, न कि ऐसा रूटिंग सिस्टम जिसे ग्राहक सीधे इस्तेमाल कर सकें। 409 टास्क वाले साझा समूह में Fireworks का कहना है कि DeepSeek और Fable 5 के बीच रूटिंग से 92.4% सटीकता मिली, जबकि अकेले Fable 5 से 86.6%। प्रति टास्क लागत क्रमशः $0.279 और $4.510 रही।
Fireworks क्या उपलब्ध कराता है
Fireworks का कहना है कि DeepSeek V4 Pro उसके serverless API और समर्पित डिप्लॉयमेंट के ज़रिए उपलब्ध है। ग्राहक supervised fine-tuning, preference tuning या reinforcement fine-tuning का इस्तेमाल करके इसके कस्टम संस्करण भी प्रशिक्षित कर सकते हैं। स्रोत में 1-million-token context window और tool calling का भी उल्लेख है। बेंचमार्क के नतीजों की स्वतंत्र पुष्टि नहीं दी गई है।
Fireworks के मुताबिक, उसके परीक्षण की व्यवस्था का प्रदर्शन पर असर पड़ा। कंपनी ने पाया कि टूल की छोटी सूची से शुरुआत करने पर, बड़े मानक कैटलॉग से शुरू करने की तुलना में, टूल कॉल के नतीजे अधिक लगातार रहे। रिपोर्ट किए गए स्कोर दोहराने की कोशिश कर रहे डेवलपरों के लिए यह एक व्यावहारिक सावधानी है।
यह क्यों मायने रखता है
कोडिंग एजेंट चलाने के लिए भुगतान करने वाली टीमों के लिए Fireworks के बताए लागत-आंकड़े संकेत देते हैं कि SWE-Bench और LiveCodeBench जैसे टास्क में DeepSeek V4 Pro सस्ता विकल्प हो सकता है। लेकिन ये नतीजे Fireworks के अपने परीक्षणों से आए हैं, अलग-अलग बेंचमार्क और भाषाओं में प्रदर्शन अलग रहा, और रूटिंग का सबसे मजबूत नतीजा बाद में सबसे अच्छा स्कोर चुनने वाली ऐसी विधि पर निर्भर है जिसे ग्राहक सीधे इस्तेमाल नहीं कर सकते।
