По данным Fireworks AI, в проведённых компанией тестах для программирования DeepSeek V4 Pro 0813 показала результаты выше, чем Fable 5, в SWE-Bench Verified и LiveCodeBench v6. Fireworks оценила стоимость решения одной задачи SWE-Bench в $0.309 для DeepSeek и $0.808 для Fable 5, а в LiveCodeBench — в $0.040 и $0.225 соответственно.
Fireworks сравнила DeepSeek с Kimi K3 и Fable 5 в четырёх группах бенчмарков, используя тот же набор тестов, что и при оценке Kimi K3. По данным компании, DeepSeek набрала 95.2% в SWE-Bench Verified (500 задач) и 92.0% в LiveCodeBench v6 (100 задач). Результаты Fable 5 составили 85.4% и 91.0% соответственно.
Результаты зависят от языка
DeepSeek лидировала не во всех тестах. В Aider Polyglot v1 результат Fable 5 составил 88.0% против 73.8% у DeepSeek; в Terminal-Bench 2.1 впереди оказалась Kimi K3 с результатом 80.9%, тогда как DeepSeek и Fable 5 набрали по 76.4%. Fireworks также сообщила, что в задачах на Java результат DeepSeek в Aider Polyglot составил 48.9%, а у Fable 5 — 74.5%.
В таблице бенчмарков указано, что результаты получены «с Oracle Routers». Fireworks определяет маршрутизацию с оракулом как проверку каждой задачи на нескольких моделях с последующим выбором лучшего результата. Это теоретический максимум, а не готовая система маршрутизации, которую клиенты могут использовать. По данным Fireworks, на общей выборке из 409 задач маршрутизация между DeepSeek и Fable 5 обеспечила точность 92.4% против 86.6% у одной Fable 5; стоимость составила $0.279 и $4.510 за задачу соответственно.
Что предлагает Fireworks
Fireworks сообщает, что DeepSeek V4 Pro доступна через бессерверный API и в виде выделенных развёртываний. Клиенты также могут обучать собственные версии модели с помощью дообучения на размеченных данных, настройки предпочтений или дообучения с подкреплением. В исходном материале также указаны контекстное окно на 1-million-token и вызов инструментов. Независимого подтверждения результатов бенчмарков компания не приводит.
Fireworks отмечает, что на результаты повлияли условия тестирования: компания обнаружила, что вызовы инструментов были стабильнее, если начинать с минимального набора инструментов, а не с большого стандартного каталога. Это практическое ограничение стоит учитывать разработчикам, которые пытаются воспроизвести опубликованные результаты.
Почему это важно
Для команд, которые платят за работу программных агентов, опубликованные Fireworks данные о стоимости позволяют предположить, что DeepSeek V4 Pro может быть более дешёвым вариантом для задач вроде SWE-Bench и LiveCodeBench. Однако результаты получены в собственных тестах Fireworks, показатели различались в зависимости от бенчмарка и языка, а лучший результат маршрутизации основан на выборе задним числом — клиенты не могут напрямую использовать такой метод.
