Um novo artigo publicado no arXiv apresenta o SkillNEO, um método para aprimorar instruções reutilizáveis — chamadas de habilidades — seguidas por agentes de IA para realizar tarefas. Os autores relatam que o método elevou a recompensa média do GPT-5.4 Mini de 49.1% para 66.4% em 86 tarefas do SkillsBench, distribuídas por oito áreas, entre elas engenharia de software e trabalho de escritório.
O método busca resolver um problema de manter apenas a versão de uma habilidade com a maior pontuação: uma versão com resultado pior ainda pode conter um ajuste útil, que precisa de mais revisões para surtir efeito. O SkillNEO escolhe separadamente qual versão usar e quais continuar desenvolvendo. Ao comparar versões relacionadas na mesma tarefa, procura identificar as etapas que funcionaram e as falhas que ainda precisam ser corrigidas. Também pode retomar uma versão anterior e revisá-la com base em evidências obtidas depois.
Por que manter uma versão pior?
No estudo, o GPT-5.4 Mini executou tarefas, sugeriu revisões e editou as habilidades. Os autores avaliaram os resultados finais nas mesmas instâncias de tarefas usadas durante a evolução das habilidades, em vez de apresentar um teste separado com novas tarefas. Eles relatam ganhos nos oito domínios. A pontuação obtida ficou dentro do intervalo dos resultados com as habilidades originais reportados para o GPT-5.5 e o GPT-5.6 Luna.
Os autores também testaram as habilidades modificadas em modelos mais avançados, sem editá-las novamente. Em 41 tarefas com habilidades modificadas, a reutilização elevou a pontuação do Luna em 10.5 pontos percentuais. O GPT-5.5 ficou 10.6 pontos acima de sua referência publicada com as habilidades originais. Segundo o artigo, algumas versões com pontuação menor durante o desenvolvimento acabaram sendo escolhidas para uso.
O que os resultados mostram — e o que não mostram
Os resultados sugerem que as tentativas de um modelo menos capaz podem gerar instruções úteis para um agente mais avançado, mesmo que o modelo menor ainda deixe de atender a alguns requisitos da tarefa. Mas a avaliação abrange um conjunto específico de 86 tarefas de referência, e o teste final reutilizou as mesmas instâncias envolvidas no desenvolvimento das habilidades. Portanto, o artigo não demonstra o desempenho do método em tarefas desconhecidas. O resumo fornecido do artigo não informa preços nem detalhes de acesso aos modelos.
Por que importa
Para equipes que desenvolvem agentes de IA especializados em tarefas, os resultados indicam que um modelo mais barato ou menos avançado pode ajudar a aprimorar instruções reutilizáveis que, depois, serão usadas por um modelo mais avançado. Os ganhos relatados se limitam às tarefas de referência testadas; não se sabe se também se aplicam a novas tarefas.
