OpenAI afirma que sus investigadores utilizan cada vez más agentes de programación, aunque estos sistemas tienen dificultades con tareas de ingeniería complejas y generan código que debe revisarse cuidadosamente. En octubre, el uso de herramientas internas como Codex y Dots por parte del investigador mediano equivalió a $2,400 diarios en tokens, según los precios de lista habituales de la API: un 62 por ciento más que en septiembre. Para el 10 por ciento de usuarios más activos, el equivalente llegó a $23,000 al día.
Estas cifras calculan cuánto costaría ese uso a los precios de lista públicos; no representan pagos en efectivo ni los salarios reales de los investigadores. OpenAI afirma que los agentes funcionaron durante un tiempo equivalente a 5.7 jornadas laborales de ocho horas por investigador y día calendario, y unas ocho jornadas en los equipos de preentrenamiento y posentrenamiento. En los momentos de mayor uso, más de dos tercios de los investigadores incluidos en el seguimiento ejecutaron al menos cuatro agentes a la vez. La comparación que hace la empresa entre el costo de los agentes y el de los salarios se basa en cifras de septiembre y excluye las acciones, que, según OpenAI, representan entre el 70 y el 80 por ciento de la remuneración total de sus empleados. El uso de agentes representó el 2 por ciento del cómputo total de investigación de la empresa.
Los agentes rinden mejor en tareas rutinarias
OpenAI informa que la proporción de tareas de entre dos y cuatro horas que los agentes autónomos completaron sin intervención humana subió del 23 por ciento en marzo al 46 por ciento en octubre. En las tareas de entre cuatro y ocho horas, la tasa de éxito declarada pasó del 13 al 35 por ciento. Los resultados varían mucho según la tarea: los agentes completaron el seguimiento de ejecuciones de entrenamiento el 79 por ciento de las veces y respondieron preguntas técnicas el 72 por ciento, pero solo tuvieron éxito el 29 por ciento de las veces al crear entornos de evaluación o de aprendizaje por refuerzo, y el 25 por ciento al escribir código para sistemas de inferencia y servicio.
La empresa también describe un fuerte interés de sus empleados por estas herramientas, aunque advierte que sus encuestas son limitadas. En una encuesta interna no representativa a 101 empleados, la persona encuestada mediana dijo que preferiría perder al 40 por ciento del personal de su equipo o el 30 por ciento de su capacidad de cómputo antes que pasar tres meses sin los agentes de programación actuales. En otra encuesta rápida a 28 empleados, 27 prefirieron el modelo interno más reciente a un ingeniero humano de nivel intermedio. Esas respuestas muestran el entusiasmo del personal encuestado, no una medida general del rendimiento de los agentes.
El criterio humano sigue siendo importante
Las entrevistas con diez investigadores de OpenAI apuntan a una debilidad persistente: los agentes carecen de lo que los entrevistados llamaron «criterio» para reconocer ideas de investigación prometedoras y distinguir el buen código o los datos de calidad. Pueden partir de supuestos incorrectos, dar pasos innecesarios y generar cambios de código o datos que los investigadores no pueden utilizar. Los investigadores dijeron que hace falta una supervisión estrecha para evitar desperdiciar tiempo de cómputo. Los equipos que trabajan en posentrenamiento y seguridad afirmaron que las ideas clave para GPT-6 Astra y GPT-6.2 Astra surgieron de personas; algunos investigadores de preentrenamiento dijeron que Codex les ayudó a llegar a conclusiones importantes mientras trabajaban en GPT-6.2 Astra.
OpenAI presenta estas cifras como indicios de una aceleración de la investigación y de una posible mejora recursiva, en la que la IA ayuda a desarrollar sistemas de IA posteriores. Pero la empresa advierte que los resultados actuales quizá no se mantengan al aumentar la escala. The Decoder también señala que METR estimó que el uso de IA casi había duplicado el ritmo de desarrollo en Anthropic durante un examen de 11 semanas; se trata de una estimación de otra organización, no de una comparación directa con OpenAI. A principios de septiembre, OpenAI había dicho que cumplió su propio objetivo de crear un pasante de investigación de IA automatizado, mientras que el científico jefe Jakub Pachocki advirtió sobre las deficiencias de control y supervisión.
Por qué importa
Para quienes siguen cómo se lleva a cabo la investigación en IA, las cifras de OpenAI muestran que los agentes de programación pueden hacerse cargo de algunas tareas rutinarias y que sus investigadores valoran tener acceso a ellos. Sin embargo, los fallos declarados en tareas de ingeniería complejas y los relatos de investigadores sobre resultados inutilizables indican que los datos de la empresa no demuestran que los agentes puedan reemplazar el criterio investigador ni trabajar de forma autónoma en todas las etapas del proceso.