A OpenAI afirma que seus pesquisadores estão usando cada vez mais agentes de código, embora esses sistemas tenham dificuldade com engenharia complexa e produzam código que precisa ser revisado com atenção. Em outubro, o uso mediano de ferramentas internas como Codex e Dots por pesquisador equivaleu a US$ 2.400 em tokens por dia, aos preços de tabela regulares da API — alta de 62% em relação a setembro. Para os 10% de usuários mais ativos, o valor equivalente chegou a US$ 23.000 por dia.
Esses números estimam quanto o uso custaria aos preços públicos de tabela; não são pagamentos em dinheiro nem os salários reais dos pesquisadores. Segundo a OpenAI, os agentes funcionaram pelo equivalente a 5,7 jornadas de oito horas por pesquisador a cada dia do calendário, e cerca de oito jornadas nas equipes de pré-treinamento e pós-treinamento. Mais de dois terços dos pesquisadores monitorados executaram pelo menos quatro agentes ao mesmo tempo nos períodos de pico. A comparação da empresa entre os custos dos agentes e os salários usa números de setembro e exclui ações, que, segundo a OpenAI, representam de 70% a 80% da remuneração total de seus funcionários. O uso de agentes correspondeu a 2% do total de computação de pesquisa da empresa.
Agentes se saem melhor em tarefas rotineiras
A OpenAI informa que a proporção de agentes autônomos capazes de concluir tarefas de duas a quatro horas sem intervenção humana subiu de 23% em março para 46% em outubro. Em tarefas de quatro a oito horas, a taxa de sucesso relatada passou de 13% para 35%. Os resultados variam bastante conforme a tarefa: os agentes monitoraram execuções de treinamento com sucesso em 79% dos casos e responderam a perguntas técnicas em 72%, mas tiveram sucesso em apenas 29% dos casos ao criar ambientes de avaliação ou de aprendizado por reforço e em 25% ao escrever código para sistemas de inferência e disponibilização de modelos.
A empresa também descreve grande interesse dos funcionários pelas ferramentas, mas ressalva que suas pesquisas são limitadas. Em uma pesquisa interna sem caráter representativo, com 101 funcionários, o entrevistado mediano disse que preferiria perder 40% da equipe ou 30% da capacidade de computação a passar três meses sem os agentes de código atuais. Em uma enquete rápida separada, com 28 funcionários, 27 preferiram o modelo interno mais recente a um engenheiro humano em meio de carreira. Essas respostas mostram o entusiasmo dos funcionários ouvidos, não uma medida geral do desempenho dos agentes.
O julgamento humano continua importante
Entrevistas com dez pesquisadores da OpenAI apontam uma fragilidade persistente: falta aos agentes o que os entrevistados chamaram de “discernimento” para identificar ideias de pesquisa promissoras e produzir código ou dados de qualidade. Eles podem partir de premissas incorretas, tomar medidas desnecessárias e gerar alterações no código ou dados que os pesquisadores não conseguem usar. Os pesquisadores disseram que é preciso supervisão atenta para evitar o desperdício de tempo de computação. Equipes que trabalham com pós-treinamento e segurança afirmaram que as principais ideias para GPT-6 Astra e GPT-6.2 Astra vieram de pessoas; alguns pesquisadores de pré-treinamento disseram que Codex os ajudou a chegar a insights importantes durante o trabalho no GPT-6.2 Astra.
A OpenAI apresenta os números como indicadores de aceleração da pesquisa e de uma possível autossuperação recursiva, em que a IA ajuda a desenvolver sistemas de IA posteriores. Mas a empresa alerta que os resultados atuais talvez não avancem de forma linear. O The Decoder também observa que a METR estimou que o uso de IA quase dobrou o ritmo de desenvolvimento na Anthropic durante uma análise de 11 semanas; essa é a estimativa de outra organização, não uma comparação direta com a OpenAI. No início de setembro, a OpenAI havia dito que atingiu sua própria meta de criar um estagiário de pesquisa de IA automatizado, enquanto o cientista-chefe Jakub Pachocki alertou para lacunas de controle e supervisão.
Por que importa
Para quem acompanha como a pesquisa em IA é feita, os números da OpenAI mostram que os agentes de código podem assumir algumas tarefas rotineiras e que seus pesquisadores valorizam ter acesso a eles. Mas as falhas relatadas em engenharia complexa, somadas aos relatos de resultados inutilizáveis, mostram que os dados da empresa não indicam que os agentes possam substituir o julgamento dos pesquisadores ou trabalhar de forma independente em todas as etapas.