Investigadores de Alibaba y varias universidades asiáticas publicaron Co‑Design Bench, una prueba que pide a agentes de programación modificar aplicaciones web en funcionamiento a partir de solicitudes reales de usuarios. La prueba incluye entradas multimodales, como imágenes, clips de audio, videos y documentos, para reflejar cómo trabajan realmente los desarrolladores. Se evaluaron diez modelos, desde GPT‑6 Astra, de estilo OpenAI, hasta Claude Opus 5 y Qwen 3.8‑Max.
GPT‑6 Astra obtuvo el mejor resultado: cumplió, en promedio, alrededor del 70 % de los requisitos de cada tarea. Aun así, solo generó una aplicación completamente correcta en el 26.4 % de los casos. En la mayoría de las tareas, la IA hizo la mayor parte del trabajo, pero dejó al menos un detalle pendiente, así que una persona todavía tiene que corregir el código antes de publicarlo.
Benchmarks anteriores, como WebCompass‑edit, registran resultados casi perfectos para esos mismos modelos, pero Co‑Design Bench revela una brecha de más de 35 puntos porcentuales. Los investigadores señalan que las pruebas anteriores se han vuelto demasiado fáciles porque los agentes pueden ejecutar, revisar y corregir su propio código en un ciclo cerrado, lo que infla sus puntuaciones.
El rendimiento cayó drásticamente cuando una sola tarea combinaba tres o cuatro tipos distintos de cambios: diseño de página, diseño visual, interacción y contenido. Todos los modelos, incluido el más pequeño, Qwen 3.8‑27B, tuvieron dificultades en esas condiciones. Incluso aumentar la capacidad de cómputo ayudó poco: GLM‑5.2 usó seis veces más tokens que GPT‑6 Astra para cambios sencillos y, aun así, obtuvo una puntuación más baja.
Qué revela la prueba
El estudio destaca que el entorno que rodea al agente de programación —el programa que le proporciona código y ejecuta sus resultados— puede influir tanto en las puntuaciones como el propio modelo. El mismo modelo obtuvo un 75 % en un entorno y un 56 % en otro al realizar modificaciones importantes. Los autores recomiendan que las empresas evalúen juntos el modelo y su entorno de integración antes de adoptar una herramienta.
También señalan algunas limitaciones: cada tarea incluye una sola solicitud fija, por lo que no se evalúan las preguntas de seguimiento, y los sistemas de IA que califican las aplicaciones pueden equivocarse. Un estudio anterior de METR encontró que la aceptación de código generado por IA en situaciones reales era aproximadamente un 24 % menor que las puntuaciones en benchmarks populares como SWE‑bench Verified.
Por qué importa
Para los desarrolladores que estén considerando asistentes de programación con IA, los resultados indican que todavía tendrán que revisar y corregir la mayoría de los cambios antes de publicar el software. Las empresas deberían probar tanto el modelo de IA como el entorno en el que se integra, en lugar de confiar en puntuaciones de benchmarks que podrían exagerar su rendimiento en situaciones reales.
