Fireworks AI afferma che, nei test di coding dell’azienda, DeepSeek V4 Pro 0813 ha ottenuto risultati superiori a Fable 5 su SWE-Bench Verified e LiveCodeBench v6. Fireworks ha indicato un costo di $0.309 per ogni attività SWE-Bench completata con DeepSeek, contro $0.808 con Fable 5, e di $0.040 contro $0.225 per ogni attività LiveCodeBench completata.
Fireworks ha confrontato DeepSeek, Kimi K3 e Fable 5 su quattro famiglie di benchmark, usando la stessa suite di valutazione già impiegata per Kimi K3. L’azienda dichiara che DeepSeek ha raggiunto il 95.2% su SWE-Bench Verified (500 attività) e il 92.0% su LiveCodeBench v6 (100 attività). Fable 5 ha ottenuto rispettivamente l’85.4% e il 91.0%.
I risultati variano a seconda del linguaggio
DeepSeek non ha primeggiato in tutti i test. Su Aider Polyglot v1, Fable 5 ha ottenuto l’88.0%, contro il 73.8% di DeepSeek; su Terminal-Bench 2.1 ha prevalso Kimi K3 con l’80.9%, mentre DeepSeek e Fable 5 hanno raggiunto entrambi il 76.4%. Fireworks ha inoltre riferito che, nelle attività Java di Aider Polyglot, DeepSeek ha ottenuto il 48.9%, contro il 74.5% di Fable 5.
La tabella dei benchmark è presentata come una serie di risultati «con Oracle Routers». Fireworks definisce l’instradamento oracle come una modalità in cui ogni attività viene testata con più modelli e il risultato migliore viene scelto a posteriori. Si tratta di un limite teorico massimo, non di un sistema di instradamento che i clienti possano usare così com’è. Su un gruppo combinato di 409 attività, Fireworks riferisce che l’instradamento tra DeepSeek e Fable 5 ha raggiunto un’accuratezza del 92.4%, contro l’86.6% di Fable da solo, con un costo di $0.279 contro $4.510 per attività.
Cosa offre Fireworks
Fireworks afferma che DeepSeek V4 Pro è disponibile tramite la sua API serverless e con deployment dedicati, e che i clienti possono addestrare versioni personalizzate con fine-tuning supervisionato, fine-tuning delle preferenze o fine-tuning per rinforzo. La fonte indica inoltre una finestra di contesto da 1-million-token e la possibilità di chiamare strumenti. Non fornisce una convalida indipendente dei risultati dei benchmark.
Fireworks osserva che la configurazione dei test ha influito sulle prestazioni: l’azienda ha riscontrato chiamate agli strumenti più costanti partendo da un insieme minimo di strumenti, invece che da un catalogo standard più ampio. È un’avvertenza pratica per gli sviluppatori che vogliono riprodurre i risultati dichiarati.
Perché conta
Per i team che pagano per usare agenti di coding, i costi dichiarati da Fireworks suggeriscono che DeepSeek V4 Pro potrebbe essere un’opzione più economica per attività come quelle di SWE-Bench e LiveCodeBench. I risultati, però, provengono dai test condotti da Fireworks, le prestazioni variano a seconda del benchmark e del linguaggio, e il risultato migliore ottenuto con l’instradamento si basa su un metodo applicato a posteriori che i clienti non possono utilizzare direttamente.
