A Replit lançou o ViBench 2.0, um benchmark que testa se agentes de programação com IA conseguem criar um produto de software do zero e mantê-lo funcionando à medida que novos recursos são adicionados. Ao contrário dos testes de programação que dão ao agente uma tarefa específica em uma base de código existente, o ViBench começa com um projeto vazio e pede produtos inspirados em ferramentas como Uber, GitHub e Google Docs.
O benchmark inclui 17 produtos, 241 solicitações de recursos e 544 planos de teste. Nos resultados oficiais executados pela parceira da Replit, Fireworks, os modelos líderes — GPT-6.1 Sol, GPT-6 Astra e Opus 5.5 — passaram em todos os planos de teste em 65%, 60% e 49% das versões criadas, respectivamente. Uma versão só é considerada aprovada se passar em todos os planos daquele produto.
Como funciona o ViBench
Primeiro, um agente cria um produto a partir de uma descrição curta; depois, adiciona até 18 recursos ao próprio código. Essa sequência pode revelar problemas que uma tarefa de programação pontual não detecta: decisões iniciais sobre dados ou estrutura do software podem dificultar a implementação de pedidos posteriores. Os testes abrangem detalhes como manter o rateio de corridas preciso até o centavo, impedir reembolsos duplicados e garantir que um editor antigo não sobrescreva uma alteração mais recente de um colega.
No fim, um agente avaliador usa um navegador real para executar cada plano de teste. A Replit diz que escolheu o Opus 5.5 como avaliador porque ele cometeu menos erros que os outros modelos testados. Em uma verificação com 34 bugs introduzidos deliberadamente, o avaliador nunca aprovou um plano quando um bug estava visível; o GPT-6.1 Sol confirmou 99,2% das 477 aprovações que revisou.
Oito produtos, incluindo suas solicitações e planos de teste, estão disponíveis publicamente no GitHub; os outros nove não foram divulgados. A Replit diz que é possível repetir os testes com um único comando, usando a versão v2.0.6 e sua configuração de testes baseada no OpenHands.
O que mostram as pontuações
A comparação oficial usou quatro versões de cada produto por modelo, com a mesma configuração e os mesmos parâmetros: esforço médio e temperatura de 1.0. O DeepSeek V4.1 Flash passou em 77% dos planos de teste e custou cerca de $2.50 por versão criada, mas nenhum modelo de pesos abertos passou em todos os planos de uma versão completa. O GPT-6.1 Sol custou cerca de $12 por versão, enquanto o GPT-6 Astra custou cerca de $90. O Opus 5.5 levou, em média, cerca de 70 minutos por versão, aproximadamente 2.5 vezes menos que o Sol.
Os modelos líderes frequentemente passaram na maioria dos testes individuais, mas ainda assim não concluíram uma versão inteira. Segundo a Replit, quase três quartos das versões reprovadas apresentaram problemas na interação entre recursos. Entre os exemplos estão a função de desfazer afetando as edições de um colega em uma ferramenta de design e um rascunho de pull request que não exibia um conflito de merge. O benchmark não avalia o design visual, e a Replit afirma que versões com aparência atraente não tinham maior probabilidade de passar do que as mais simples.
Por que importa
Para equipes que avaliam agentes de programação com IA, o ViBench mostra que passar em tarefas isoladas de programação não garante que um produto continuará funcionando à medida que novos recursos forem acumulados: a maioria das falhas dos modelos líderes envolveu a interação entre recursos. Os resultados podem ajudar as equipes a identificar esse tipo de fragilidade, mas não demonstram como os modelos se sairiam com o software ou a configuração de desenvolvimento de uma empresa específica.
