A MIT Technology Review informa que a organização sem fins lucrativos METR, que avalia sistemas de IA, divulgou uma versão atualizada de seu gráfico de horizonte temporal. O novo gráfico inclui tarefas que levam muito mais tempo para serem feitas por humanos e exigem mais julgamento, como elaborar avaliações de IA ou pontuar argumentos filosóficos. O gráfico original, amplamente compartilhado, media o progresso pelo tempo que uma pessoa levaria para concluir uma tarefa e mostrava que os modelos de ponta dobram a duração das tarefas que conseguem realizar a cada quatro meses. A atualização mantém essa tendência para tarefas simples e verificáveis, como programação e matemática, mas também destaca uma diferença crescente nas tarefas abertas. As tarefas adicionadas buscam avaliar capacidades importantes para automatizar pesquisa e desenvolvimento. Na tarefa de elaboração de avaliações, até os modelos mais avançados tiveram desempenho apenas “um pouco acima do mínimo exigido”, sem chegar a ser úteis para a equipe da METR. Na tarefa de avaliar argumentos filosóficos, os modelos também ficaram abaixo dos especialistas humanos. Pesquisadores citados na reportagem dizem que os resultados não surpreendem: trabalhos anteriores concluíram que a IA ainda não consegue reproduzir, por conta própria, pesquisas humanas em ciência da computação. A própria equipe da METR observa que é difícil medir o desempenho nessas tarefas. Para muitas das novas tarefas, as estimativas de tempo humano substituem testes práticos, pois pagar pessoas para concluir trabalhos que levam centenas de horas é caro. Por isso, o relatório inclui menos tarefas que exigem julgamento e reconhece que os dados são menos robustos que os do conjunto original. Especialistas como Sayash Kapoor, da UC Berkeley, e Najoung Kim, da Boston University, consideram a inclusão um passo positivo, mas alertam que as tendências em capacidades difíceis de medir continuarão sujeitas a muito ruído. Em suma, o gráfico atualizado confirma avanços rápidos em tarefas cujo sucesso é fácil de verificar, enquanto o progresso em trabalhos que exigem julgamento ainda é incerto. É provável que o gráfico influencie a forma como a comunidade avalia o prazo para automatizar pesquisa e desenvolvimento com IA.
Por que as novas tarefas são importantes
Para ajudar a planejar novos experimentos ou redigir propostas de pesquisa, a IA precisa lidar com tarefas que não podem ser avaliadas por um simples teste de aprovação ou reprovação. O gráfico atualizado da METR mostra que os modelos atuais ainda ficam atrás dos humanos nessas áreas, o que sugere que a pesquisa totalmente automatizada por IA não está próxima. Para as empresas que apostam na IA para acelerar o desenvolvimento de produtos, essa diferença significa que não devem esperar ganhos imediatos ao usar IA em decisões estratégicas de alto nível. Por enquanto, a tecnologia é mais confiável em trabalhos concretos e verificáveis, como gerar código ou analisar dados.
Por que importa
Para quem usa IA no dia a dia, a atualização indica que as ferramentas continuarão melhorando em tarefas objetivas, como programação, mas ainda não estão prontas para substituir o julgamento humano no planejamento de pesquisas ou no raciocínio filosófico. As empresas devem continuar usando IA para automatizar tarefas rotineiras, mantendo pessoas envolvidas nas decisões estratégicas.