Replit lanzó ViBench 2.0, un benchmark que evalúa si los agentes de programación con IA pueden crear un producto de software desde cero y mantenerlo operativo a medida que se le añaden funciones. A diferencia de las pruebas de programación que asignan al agente una tarea concreta en una base de código existente, ViBench parte de un proyecto vacío y le pide crear productos inspirados en herramientas como Uber, GitHub y Google Docs.
El benchmark incluye 17 productos, 241 solicitudes de funciones y 544 planes de prueba. En los resultados oficiales obtenidos por Fireworks, socio de Replit, los modelos líderes —GPT-6.1 Sol, GPT-6 Astra y Opus 5.5— superaron todos los planes de prueba en el 65%, el 60% y el 49% de las compilaciones, respectivamente. Una compilación solo cuenta como aprobada si supera todos los planes correspondientes a ese producto.
Cómo funciona ViBench
Primero, un agente crea un producto a partir de una descripción breve y, después, añade a su propio código hasta 18 funciones. Esta secuencia puede sacar a la luz problemas que una tarea de programación aislada no detecta: las decisiones iniciales sobre los datos o la estructura del software pueden dificultar la implementación de solicitudes posteriores. Las pruebas abarcan detalles como calcular al céntimo el reparto del costo de un viaje, evitar reembolsos duplicados y garantizar que una versión antigua del editor no sobrescriba un cambio más reciente de un compañero de equipo.
Al final, un agente evaluador usa un navegador real para ejecutar cada plan de prueba. Replit dice que eligió Opus 5.5 como evaluador porque fue el modelo con menos errores entre los que probó. En una comprobación con 34 errores introducidos deliberadamente, el evaluador nunca dio por aprobado un plan cuando el error era visible; GPT-6.1 Sol confirmó el 99,2% de los 477 aprobados que revisó.
Ocho productos, con sus solicitudes y planes de prueba, están disponibles públicamente en GitHub; los otros nueve se mantienen reservados. Replit afirma que los resultados se pueden reproducir con un solo comando, usando la versión v2.0.6 y su configuración de pruebas basada en OpenHands.
Qué muestran las puntuaciones
La comparación oficial evaluó cuatro compilaciones de cada producto por modelo, con el mismo entorno y los mismos ajustes: esfuerzo medio y una temperatura de 1.0. DeepSeek V4.1 Flash superó el 77% de los planes de prueba y costó alrededor de $2.50 por compilación, pero ningún modelo de pesos abiertos superó todos los planes en una compilación completa. GPT-6.1 Sol costó alrededor de $12 por compilación, mientras que GPT-6 Astra costó alrededor de $90. Opus 5.5 tardó unos 70 minutos por compilación en promedio, aproximadamente 2,5 veces menos que Sol.
A menudo, los modelos líderes resolvieron la mayoría de las pruebas individuales, pero aun así no lograron completar una compilación. Según Replit, casi tres cuartas partes de las compilaciones que fallaron presentaron problemas cuando interactuaban distintas funciones. Entre los ejemplos figuran la opción de deshacer que afecta las ediciones de un compañero en una herramienta de diseño y una solicitud de extracción en borrador que no muestra un conflicto de fusión. El benchmark no califica el diseño visual y, según Replit, las compilaciones de aspecto atractivo no tenían más probabilidades de aprobar que las más sencillas.
Por qué importa
Para los equipos que están considerando usar agentes de programación con IA, ViBench aporta pruebas de que superar tareas de programación aisladas no garantiza que un producto siga funcionando al acumular funciones: la mayoría de los fallos de los mejores modelos se debieron a la interacción entre funciones. Los resultados pueden ayudar a los equipos a detectar ese tipo de debilidad, pero no demuestran cómo funcionarían los modelos con el software o el entorno de desarrollo de una empresa en particular.
