Fireworks AI afirma que DeepSeek V4 Pro 0813 obtuvo mejores resultados que Fable 5 en SWE-Bench Verified y LiveCodeBench v6, según las pruebas de programación de la empresa. Fireworks informó que el costo por tarea resuelta fue de $0.309 para DeepSeek, frente a $0.808 para Fable 5 en SWE-Bench, y de $0.040 frente a $0.225 en LiveCodeBench.
Fireworks comparó DeepSeek con Kimi K3 y Fable 5 en cuatro familias de pruebas de referencia, con la misma batería de evaluación que había usado para Kimi K3. La empresa afirma que DeepSeek obtuvo un 95.2% en SWE-Bench Verified (500 tareas) y un 92.0% en LiveCodeBench v6 (100 tareas). Fable 5 obtuvo un 85.4% y un 91.0%, respectivamente.
Los resultados varían según el lenguaje
DeepSeek no lideró todas las pruebas. En Aider Polyglot v1, Fable 5 obtuvo un 88.0%, frente al 73.8% de DeepSeek; en Terminal-Bench 2.1, Kimi K3 quedó en primer lugar con un 80.9%, mientras que DeepSeek y Fable 5 obtuvieron un 76.4% cada uno. Fireworks también informó que DeepSeek obtuvo un 48.9% en las tareas de Java de Aider Polyglot, frente al 74.5% de Fable 5.
La tabla de resultados está identificada como “con enrutadores oracle”. Fireworks define el enrutamiento oracle como probar cada tarea con varios modelos y elegir después el mejor resultado. Es un límite teórico, no un sistema de enrutamiento que los clientes puedan implementar tal cual. En un grupo combinado de 409 tareas, Fireworks informa que el enrutamiento entre DeepSeek y Fable 5 alcanzó una precisión del 92.4%, frente al 86.6% de Fable por sí solo, a un costo de $0.279 frente a $4.510 por tarea.
Qué ofrece Fireworks
Fireworks afirma que DeepSeek V4 Pro está disponible mediante su API sin servidor y en implementaciones dedicadas, y que los clientes pueden entrenar versiones personalizadas con ajuste fino supervisado, ajuste de preferencias o ajuste fino por refuerzo. La fuente también menciona una ventana de contexto de 1-million-token y llamadas a herramientas. No ofrece una validación independiente de los resultados de las pruebas de referencia.
Fireworks señala que la configuración de sus pruebas influyó en el rendimiento: la empresa comprobó que empezar con un conjunto mínimo de herramientas produjo llamadas a herramientas más consistentes que comenzar con un catálogo estándar más amplio. Es una consideración práctica para los desarrolladores que intenten reproducir los resultados publicados.
Por qué importa
Para los equipos que pagan por ejecutar agentes de programación, los costos publicados por Fireworks apuntan a que DeepSeek V4 Pro podría ser una opción más económica para tareas como las de SWE-Bench y LiveCodeBench. Sin embargo, los resultados provienen de las pruebas de la propia Fireworks, el rendimiento varió según la prueba y el lenguaje, y el mejor resultado de enrutamiento depende de un método aplicado a posteriori que los clientes no pueden implementar directamente.
