Pesquisadores da Alibaba e de várias universidades asiáticas lançaram o Co‑Design Bench, um teste que pede a agentes de programação que modifiquem aplicativos web em funcionamento com base em solicitações reais de usuários. O teste inclui entradas multimodais, como imagens, trechos de áudio, vídeos e documentos, refletindo a rotina real dos desenvolvedores. Foram avaliados dez modelos, do GPT‑6 Astra, no estilo da OpenAI, ao Claude Opus 5 e ao Qwen 3.8‑Max.
O GPT‑6 Astra teve o melhor desempenho, atendendo, em média, a cerca de 70 % dos requisitos de cada tarefa. Ainda assim, entregou um aplicativo totalmente correto em apenas 26,4 % dos casos. Na maioria das tarefas, a IA fez a maior parte do trabalho, mas deixou ao menos um detalhe pendente — ou seja, uma pessoa ainda precisa revisar e corrigir o código antes do lançamento.
Benchmarks mais antigos, como o WebCompass‑edit, registram resultados quase perfeitos para os mesmos modelos, mas o Co‑Design Bench revela uma diferença superior a 35 pontos percentuais. Os pesquisadores afirmam que os testes antigos ficaram fáceis demais porque os agentes podem executar, verificar e corrigir o próprio código em um ciclo fechado, inflando as pontuações.
O desempenho caiu bastante quando uma única tarefa combinava três ou quatro tipos de alteração — layout, design, interação e conteúdo. Todos os modelos, inclusive o Qwen 3.8‑27B, menor, tiveram dificuldades nessas condições. Mesmo o aumento do poder computacional pouco ajudou: o GLM‑5.2 usou seis vezes mais tokens que o GPT‑6 Astra em alterações simples, mas ainda assim teve uma pontuação inferior.
O que o teste revela
O estudo destaca que o ambiente que envolve um agente de programação — o programa que fornece o código e executa o resultado — pode afetar os resultados tanto quanto o próprio modelo. O mesmo modelo teve pontuação de 75 % em um ambiente e de 56 % em outro ao realizar mudanças mais abrangentes. Os autores recomendam que as empresas avaliem o modelo e o ambiente em conjunto antes de adotar uma ferramenta.
Os pesquisadores também apontam limitações: cada tarefa contém uma única solicitação fixa, portanto não são testadas perguntas de acompanhamento, e as IAs que avaliam os aplicativos podem cometer erros. Um estudo anterior da METR concluiu que as taxas de aceitação de código gerado por IA no mundo real eram cerca de 24 % inferiores às pontuações em benchmarks populares, como o SWE‑bench Verified.
Por que importa
Para desenvolvedores que consideram usar assistentes de programação com IA, os resultados indicam que ainda será preciso revisar e corrigir a maioria das alterações antes de lançar o software. As empresas devem testar tanto o modelo de IA quanto o ambiente em que ele está integrado, em vez de confiar em pontuações de benchmarks que podem superestimar o desempenho no mundo real.
