Pesquisadores dizem que o GPT-6 Astra consegue examinar e alterar os valores numéricos dos pesos de redes neurais sem recorrer ao processo habitual de treinamento. Nos testes, identificou o que várias redes pequenas haviam aprendido, criou pesos para redes que jogam games e alterou uma pequena parte de um modelo de linguagem para melhorar seu desempenho em matemática.
Os pesquisadores chamam essa abordagem de “Programação no Espaço de Pesos” (“Weight-Space Programming”). Em vez de retreinar um modelo com um algoritmo de otimização, eles forneceram a Astra os pesos e um objetivo, às vezes com ferramentas de programação e retorno dos resultados dos testes. Segundo os pesquisadores, Astra não pôde criar ciclos de treinamento. Os resultados são experimentos iniciais, não uma prova de que a abordagem funcione de forma confiável em diferentes modelos de IA.
O que Astra modificou?
Em um teste, Astra recebeu os pesos do Qwen3.5-0.8B, um pequeno modelo de linguagem, e foi instruído a melhorar sua capacidade em matemática. Usando um ambiente de programação e 50 rodadas de problemas de teste, Astra identificou “ciclos de pensamento” repetitivos, que a documentação do Qwen já aponta como um problema. Astra editou 0.016% dos pesos do modelo. Em problemas de matemática separados, a pontuação no MATH-500 subiu de 7.9% para 48.1%. A pontuação em seguimento de instruções também aumentou, de 21% para 62%.
A correção foi incompleta: cerca de um terço das respostas ainda chegava ao limite máximo de texto, embora esse número tenha caído em relação aos 93% registrados antes da mudança. Astra não obteve uma melhora mensurável no Gemma 3 270M, outro modelo pequeno que raramente entra nesses ciclos. Os pesquisadores sugerem que Astra pode ter removido um obstáculo a habilidades que o Qwen já possuía, em vez de acrescentar uma capacidade que faltava ao modelo.
Astra também criou pesos para redes que jogavam três games simples de computador. No Breakout, os pesquisadores relatam uma pontuação média de 517, contra 25 de uma versão de referência treinada; em dois outros games, Astra teve resultados inferiores aos das versões treinadas por mais tempo. No Go 9-by-9, Astra ajustou, ao longo de 50 rodadas, uma rede com cerca de 1.5 milhão de parâmetros, usando até 128 partidas de prática por rodada, e venceu um modelo de tamanho semelhante treinado com cerca de 20 milhões de partidas.
Uma abordagem promissora, mas ainda inicial
Os pesquisadores também relatam que Astra identificou o game, o idioma ou o formato de imagem pretendido a partir dos pesos brutos de redes pequenas. Em um teste, conseguiu distinguir um modelo treinado para concordar com os usuários somente depois de também ter acesso ao que os modelos priorizavam ao processar texto.
O The Decoder relata que o pesquisador de IA Jürgen Schmidhuber chamou a abordagem de “coisa antiga”, citando trabalhos da década de 1990. O pesquisador Omar Khattab respondeu que os trabalhos anteriores estavam à frente de seu tempo e afirmou que a novidade é a capacidade dos modelos de linguagem modernos de traduzir entre a linguagem comum e os pesos das redes. Os pesquisadores apontam auditorias de segurança e mudanças direcionadas de comportamento como possíveis aplicações, mas dizem que ainda precisam criar um benchmark para medir o método de forma sistemática.
Por que importa
Para equipes que mantêm pequenos modelos de linguagem, os resultados apontam para uma possível forma de corrigir uma falha específica sem repetir um treinamento completo e caro. Mas a correção não eliminou as respostas repetitivas, e Astra não conseguiu melhorar outro modelo, portanto ainda não está claro em que situações o método funcionará na prática.
