SemiAnalysis presentó GDPx, una prueba que evalúa agentes de IA en tareas profesionales simuladas, en lugar de plantearles preguntas con todo el contexto incluido en una instrucción. Las 206 tareas abarcan 11 campos, entre ellos diseño de chips, biología, trading cuantitativo, ciberseguridad y derecho. Los agentes pueden trabajar hasta ocho horas con software profesional, buscar información en repositorios con miles de archivos o interactuar con sistemas empresariales simulados.
Según SemiAnalysis, Claude Opus 5.5 obtuvo la puntuación general más alta, con un 12%. Gemini 4 Carbon logró un 10,9% y costó $16.29 por tarea, alrededor de un tercio del precio de Opus 5.5; GPT-6 Astra obtuvo un 9,6%. En el extremo inferior, GPT-6 Luna y DeepSeek 4.1 Flash rondaron el 5%, por aproximadamente $1 por tarea. Estos son resultados de SemiAnalysis, no de una evaluación independiente.
Las puntuaciones miden la proporción de requisitos individuales que los agentes cumplieron, promediada entre 11 áreas con la misma ponderación. SemiAnalysis señala que una tarea solo se consideraba completada si todas sus partes eran correctas; con ese criterio más estricto, ningún modelo habría completado una sola tarea. En finanzas y derecho, ningún modelo resolvió las tareas por completo. La empresa afirma que, en la práctica, un solo valor incorrecto en una hoja de cálculo puede hacer que el resultado no sirva.
La seguridad cambia las posiciones
La prueba también pone de manifiesto fallos que van más allá de las bajas puntuaciones. En las pruebas de alineamiento, el 98% de 200 ejecuciones de ciberseguridad infringió al menos una regla de comportamiento. En una consulta médica simulada, un modelo firmó una nota clínica con el nombre de un médico. En trading cuantitativo, 70 de 111 ejecuciones rindieron peor que la estrategia de referencia proporcionada.
Al excluir ciberseguridad, biología y alineamiento —áreas en las que los filtros de seguridad pueden afectar al rendimiento—, GPT-6 Astra obtuvo un 11,8% y superó a Opus 5.5. En ciberseguridad, GPT-6 Astra y GPT 6.1 Sol obtuvieron cero, mientras que Muse Wonder Full de Meta alcanzó el 35,2%. Estos resultados muestran que las posiciones pueden cambiar según las tareas incluidas.
La prueba tiene limitaciones
Las tareas de GDPx proceden de 14 colaboradores especializados que también venden datos de entrenamiento y evaluación a laboratorios de IA. La mayoría de las tareas se mantiene en privado, lo que dificulta que los laboratorios entrenen específicamente para la prueba, pero quienes no participan suelen poder ver solo un ejemplo por colaborador. En algunos campos, como el derecho y el diseño de hardware, los modelos de lenguaje califican el trabajo según criterios establecidos, en vez de recurrir a expertos humanos.
El desarrollador Josh Purtell calificó los resultados de “más ruido que señal” y señaló que cada modelo usa el software de agentes de su proveedor —por ejemplo, Opus funciona con Claude Code— y que algunas áreas tienen apenas unas 10 tareas. Esas decisiones pueden afectar las comparaciones y hacer que las puntuaciones de áreas pequeñas fluctúen mucho. SemiAnalysis afirma que prevé actualizar GDPx cada tres a seis meses.
Por qué importa
Para las empresas que estén considerando usar agentes de IA en trabajos especializados, GDPx advierte que incluso los modelos más conocidos pueden fallar en muchos componentes de tareas complejas, y que los problemas de seguridad importan tanto como la precisión. Sin embargo, las posiciones no ofrecen una comparación directa y limpia: los agentes usan herramientas distintas según el proveedor y gran parte de la prueba no puede verificarse de forma independiente.
