Fireworks AI는 실제 취약점이 있는 코드베이스를 사용하고 익스플로잇이 작동하는지, 패치가 적용됐는지를 확인하는 CyberGym 평가에서 DeepSeek V4 Pro 0813이 보안 과제를 수행했다고 밝혔다. 697개 과제를 비교한 결과, Fireworks는 이 모델이 GPT-5.5보다 더 많은 과제를 해결했으며, 취약점 하나를 해결하는 데 든 비용은 4분의 1이었다고 전했다.
Kimi K3와 비교하면 DeepSeek V4 Pro는 성공 건당 보고된 비용이 더 낮았지만, K3가 전체적으로 더 많은 과제를 해결했다. Fireworks는 또 DeepSeek V4 Pro가 추적 대상 840개 과제 모두에서 거부하거나 출력을 잘라내지 않고 도구를 호출했다고 밝혔다. 이는 회사가 직접 수행한 테스트 결과로, 출처는 독립적인 검증 자료를 제공하지 않는다.
왜 중요한가
자동화된 코드 감사를 검토하는 보안팀에 Fireworks의 결과는 DeepSeek V4 Pro가 GPT-5.5보다 취약점 하나를 해결하는 데 비용이 적게 들 수 있음을 시사한다. 다만 이 회사의 평가 결과는 독립적으로 검증되지 않았다.
