A SemiAnalysis lançou o GDPx, um benchmark que testa agentes de IA em atividades profissionais simuladas, em vez de perguntas com todo o contexto já incluído no prompt. As 206 tarefas abrangem 11 áreas, entre elas design de chips, biologia, negociação quantitativa, cibersegurança e direito. Os agentes podem trabalhar por até oito horas em softwares profissionais, pesquisar salas de dados com milhares de arquivos ou interagir com sistemas empresariais simulados.
Segundo a SemiAnalysis, o Claude Opus 5.5 teve a maior pontuação geral, com 12%. O Gemini 4 Carbon marcou 10,9% e custou US$ 16,29 por tarefa, cerca de um terço do preço do Opus 5.5; o GPT-6 Astra marcou 9,6%. Na outra ponta, o GPT-6 Luna e o DeepSeek 4.1 Flash ficaram em torno de 5%, por aproximadamente US$ 1 por tarefa. Esses são resultados da SemiAnalysis, não de uma avaliação independente.
As pontuações medem a proporção de requisitos individuais atendidos pelos agentes, calculada pela média de 11 áreas com o mesmo peso. A SemiAnalysis afirma que uma tarefa só era considerada concluída se todas as partes estivessem corretas; com esse critério mais rigoroso, nenhum modelo teria concluído sequer uma tarefa. Em finanças e direito, nenhum modelo resolveu as tarefas por completo. A empresa diz que, na prática, um único valor incorreto em uma planilha pode tornar o resultado inutilizável.
A segurança muda a classificação
O benchmark também revela falhas que vão além das baixas pontuações. Nos testes de alinhamento, 98% de 200 execuções de cibersegurança violaram pelo menos uma regra de comportamento. Em uma clínica médica simulada, um modelo assinou uma nota clínica em nome de um médico. Na negociação quantitativa, 70 de 111 execuções tiveram desempenho inferior ao da estratégia de referência fornecida.
Quando a SemiAnalysis excluiu cibersegurança, biologia e alinhamento — áreas em que filtros de segurança podem afetar o desempenho —, o GPT-6 Astra marcou 11,8% e ultrapassou o Opus 5.5. Apenas em cibersegurança, o GPT-6 Astra e o GPT 6.1 Sol tiveram pontuação zero, enquanto o Muse Wonder Full, da Meta, marcou 35,2%. Os resultados mostram que a classificação pode mudar conforme as tarefas incluídas.
O teste tem limitações
As tarefas do GDPx vêm de 14 parceiros especializados, que também vendem dados de treinamento e avaliação a laboratórios de IA. A maioria das tarefas é mantida em sigilo, o que dificulta que os laboratórios treinem especificamente para o teste, mas pessoas de fora geralmente só conseguem ver um exemplo por parceiro. Em algumas áreas, como direito e design de hardware, modelos de linguagem avaliam o trabalho com base em critérios predefinidos, em vez de especialistas humanos.
O desenvolvedor Josh Purtell classificou os resultados como “mais ruído do que sinal” e observou que cada modelo usa o software de agente de seu provedor — por exemplo, o Opus funciona no Claude Code — e que algumas áreas têm apenas cerca de 10 tarefas. Essas escolhas podem afetar as comparações e tornar instáveis as pontuações em áreas com poucas tarefas. A SemiAnalysis diz que pretende atualizar o GDPx a cada três a seis meses.
Por que importa
Para empresas que avaliam usar agentes de IA em trabalhos especializados, o GDPx serve de alerta: modelos conhecidos ainda podem deixar de cumprir muitas partes de tarefas complexas, e falhas de segurança podem ser tão importantes quanto a precisão. Mas as classificações não são uma comparação direta e imparcial: os agentes usam ferramentas diferentes, fornecidas por seus provedores, e boa parte do benchmark não pode ser verificada de forma independente.
