Pesquisadores liderados por Qi Zhang lançaram o PORA, uma técnica para agentes de modelos de linguagem que aprende quando um raciocínio mais longo melhora os resultados. Durante o treinamento, o sistema executa a mesma etapa duas vezes — uma com um limite curto de raciocínio e outra com um limite maior — para identificar qual leva a um resultado final melhor. Em tempo de execução, um controlador usa essa estimativa aprendida, junto com o orçamento de computação restante, para escolher a opção mais econômica sem executar ambas. Testes em tarefas de memória, programação, varejo e matemática mostraram pontuações até 32,9% maiores em um benchmark de memória e até 31% menos chamadas ao modelo em tarefas de matemática.
Por que importa
O método permite que desenvolvedores criem agentes de IA mais eficientes, que usam menos computação na nuvem sem perder desempenho, reduzindo os custos de serviços que dependem de raciocínio em várias etapas.
