Oossa

METR inclui tarefas abertas em gráfico sobre avanços da IA

O gráfico atualizado da organização sem fins lucrativos mostra que a IA ainda dobra a cada quatro meses o tempo das tarefas simples que consegue realizar, mas os modelos ficam atrás em trabalhos que exigem julgamento, como planejar pesquisas.

Por Publicado pelo Oossa: 2 min de leitura

铮 夏 · Unsplash

A MIT Technology Review informa que a organização sem fins lucrativos METR, que avalia sistemas de IA, divulgou uma versão atualizada de seu gráfico de horizonte temporal. O novo gráfico inclui tarefas que levam muito mais tempo para serem feitas por humanos e exigem mais julgamento, como elaborar avaliações de IA ou pontuar argumentos filosóficos. O gráfico original, amplamente compartilhado, media o progresso pelo tempo que uma pessoa levaria para concluir uma tarefa e mostrava que os modelos de ponta dobram a duração das tarefas que conseguem realizar a cada quatro meses. A atualização mantém essa tendência para tarefas simples e verificáveis, como programação e matemática, mas também destaca uma diferença crescente nas tarefas abertas. As tarefas adicionadas buscam avaliar capacidades importantes para automatizar pesquisa e desenvolvimento. Na tarefa de elaboração de avaliações, até os modelos mais avançados tiveram desempenho apenas “um pouco acima do mínimo exigido”, sem chegar a ser úteis para a equipe da METR. Na tarefa de avaliar argumentos filosóficos, os modelos também ficaram abaixo dos especialistas humanos. Pesquisadores citados na reportagem dizem que os resultados não surpreendem: trabalhos anteriores concluíram que a IA ainda não consegue reproduzir, por conta própria, pesquisas humanas em ciência da computação. A própria equipe da METR observa que é difícil medir o desempenho nessas tarefas. Para muitas das novas tarefas, as estimativas de tempo humano substituem testes práticos, pois pagar pessoas para concluir trabalhos que levam centenas de horas é caro. Por isso, o relatório inclui menos tarefas que exigem julgamento e reconhece que os dados são menos robustos que os do conjunto original. Especialistas como Sayash Kapoor, da UC Berkeley, e Najoung Kim, da Boston University, consideram a inclusão um passo positivo, mas alertam que as tendências em capacidades difíceis de medir continuarão sujeitas a muito ruído. Em suma, o gráfico atualizado confirma avanços rápidos em tarefas cujo sucesso é fácil de verificar, enquanto o progresso em trabalhos que exigem julgamento ainda é incerto. É provável que o gráfico influencie a forma como a comunidade avalia o prazo para automatizar pesquisa e desenvolvimento com IA.

Por que as novas tarefas são importantes

Para ajudar a planejar novos experimentos ou redigir propostas de pesquisa, a IA precisa lidar com tarefas que não podem ser avaliadas por um simples teste de aprovação ou reprovação. O gráfico atualizado da METR mostra que os modelos atuais ainda ficam atrás dos humanos nessas áreas, o que sugere que a pesquisa totalmente automatizada por IA não está próxima. Para as empresas que apostam na IA para acelerar o desenvolvimento de produtos, essa diferença significa que não devem esperar ganhos imediatos ao usar IA em decisões estratégicas de alto nível. Por enquanto, a tecnologia é mais confiável em trabalhos concretos e verificáveis, como gerar código ou analisar dados.

Por que importa

Para quem usa IA no dia a dia, a atualização indica que as ferramentas continuarão melhorando em tarefas objetivas, como programação, mas ainda não estão prontas para substituir o julgamento humano no planejamento de pesquisas ou no raciocínio filosófico. As empresas devem continuar usando IA para automatizar tarefas rotineiras, mantendo pessoas envolvidas nas decisões estratégicas.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.