A Fireworks AI afirma que o DeepSeek V4 Pro 0813 teve pontuação superior à do Fable 5 no SWE-Bench Verified e no LiveCodeBench v6, em testes de programação da empresa. A Fireworks informou custos de $0.309 por tarefa resolvida no SWE-Bench para o DeepSeek, contra $0.808 para o Fable 5; no LiveCodeBench, foram $0.040 e $0.225 por tarefa resolvida, respectivamente.
A Fireworks comparou o DeepSeek com o Kimi K3 e o Fable 5 em quatro grupos de benchmarks, usando o mesmo conjunto de avaliações empregado anteriormente para o Kimi K3. Segundo a empresa, o DeepSeek obteve 95.2% no SWE-Bench Verified (500 tarefas) e 92.0% no LiveCodeBench v6 (100 tarefas). O Fable 5 marcou 85.4% e 91.0%, respectivamente.
Os resultados variam conforme a linguagem
O DeepSeek não liderou em todos os testes. No Aider Polyglot v1, o Fable 5 marcou 88.0%, contra 73.8% do DeepSeek; no Terminal-Bench 2.1, o Kimi K3 ficou na frente, com 80.9%, enquanto DeepSeek e Fable 5 marcaram 76.4% cada. A Fireworks também informou que o DeepSeek obteve 48.9% nas tarefas de Java do Aider Polyglot, em comparação com 74.5% do Fable 5.
A tabela de benchmarks é identificada como resultados “com Oracle Routers”. A Fireworks define o roteamento oracle como testar cada tarefa com vários modelos e escolher depois o melhor resultado. Trata-se de um limite teórico máximo, não de um sistema de roteamento que os clientes possam implantar tal como está. Em um conjunto combinado de 409 tarefas, a Fireworks informa que o roteamento entre DeepSeek e Fable 5 alcançou 92.4% de precisão, contra 86.6% do Fable sozinho, a um custo de $0.279 contra $4.510 por tarefa.
O que a Fireworks oferece
A Fireworks afirma que o DeepSeek V4 Pro está disponível por meio de sua API sem servidor e de implantações dedicadas, e que os clientes podem treinar versões personalizadas com ajuste fino supervisionado, ajuste de preferências ou ajuste fino por reforço. A fonte também menciona uma janela de contexto de 1-million-token e chamadas de ferramentas. Não há validação independente dos resultados dos benchmarks.
A Fireworks observa que a configuração dos testes afetou o desempenho: a empresa constatou que começar com um conjunto mínimo de ferramentas gerou chamadas de ferramentas mais consistentes do que iniciar com um catálogo padrão maior. Esse é um alerta prático para desenvolvedores que tentem reproduzir as pontuações divulgadas.
Por que importa
Para equipes que pagam para executar agentes de programação, os custos divulgados pela Fireworks indicam que o DeepSeek V4 Pro pode ser uma opção mais barata em tarefas como as do SWE-Bench e do LiveCodeBench. Mas os resultados vêm de testes da própria Fireworks, o desempenho variou conforme o benchmark e a linguagem, e o melhor resultado de roteamento depende de um método aplicado depois dos testes, que os clientes não podem implantar diretamente.
