Forskarna säger att GPT-6 Astra kan granska och ändra de numeriska vikterna i neurala nätverk utan den vanliga träningsprocessen. I tester identifierade modellen vad flera små nätverk hade lärt sig, skrev vikter för nätverk som spelar spel och ändrade en liten del av en språkmodell för att förbättra dess mattekunskaper.
Forskarna kallar metoden ”Weight-Space Programming”. I stället för att träna om en modell med en optimeringsalgoritm fick Astra vikter och ett mål, ibland tillsammans med programmeringsverktyg och återkoppling från testkörningar. Forskarna säger att Astra inte fick skriva träningsloopar. Resultaten bygger på tidiga experiment och visar inte att metoden fungerar tillförlitligt med olika AI-modeller.
Vad ändrade Astra?
I ett test fick Astra vikterna från Qwen3.5-0.8B, en liten språkmodell, och i uppgift att förbättra dess matteförmåga. Med hjälp av en kodningsmiljö och 50 omgångar med testproblem upptäckte Astra upprepade ”tankeloopar” som Qwens dokumentation redan varnar för. Modellen ändrade 0.016% av vikterna. På separata matteproblem steg resultatet på MATH-500 från 7.9% till 48.1%. Även resultatet på instruktioner förbättrades, från 21% till 62%.
Lösningen var inte fullständig: ungefär en tredjedel av svaren nådde fortfarande den maximala textlängden, även om andelen hade sjunkit från 93% före ändringen. Astra gav ingen mätbar förbättring av Gemma 3 270M, en annan liten modell som sällan fastnar i sådana loopar. Forskarna föreslår att Astra kan ha undanröjt ett hinder för förmågor som Qwen redan hade, snarare än tillfört en förmåga som modellen saknade.
Astra skrev också vikter för nätverk som spelade tre enkla datorspel. I Breakout rapporterar forskarna en genomsnittlig poäng på 517, jämfört med 25 för en tränad baslinjemodell. I två andra spel låg Astra efter de versioner som hade tränats längst. För 9-by-9 Go justerade Astra ett nätverk med ungefär 1.5 miljoner parametrar under 50 omgångar, med upp till 128 träningspartier per omgång, och slog en ungefär lika stor modell som tränats på omkring 20 miljoner partier.
Lovande metod – men fortfarande tidigt
Forskarna uppger också att Astra kunde identifiera vilket spel, språk eller vilken bildform små nätverk var avsedda för, utifrån deras råa vikter. I ett test kunde modellen skilja ut en modell som tränats att hålla med användare, men först när Astra också fick se vad modellerna riktade sin uppmärksamhet mot när de bearbetade text.
The Decoder rapporterar att AI-forskaren Jürgen Schmidhuber kallade metoden ”gammal skåpmat” och hänvisade till forskning från 1990-talet. Forskaren Omar Khattab svarade att den tidigare forskningen låg före sin tid och sade att det nya är att moderna språkmodeller kan översätta mellan vanligt språk och nätverksvikter. Forskarna nämner säkerhetsgranskningar och riktade beteendeförändringar som möjliga användningsområden, men säger att de fortfarande behöver ta fram ett riktmärke för att mäta metoden systematiskt.
Varför det spelar roll
För team som underhåller små språkmodeller tyder resultaten på att det kan gå att åtgärda ett specifikt fel utan att genomföra en kostsam, fullständig träningsomgång på nytt. Men svaren fastnade fortfarande ofta i loopar, och Astra lyckades inte förbättra en annan modell. Därför är det ännu oklart när metoden fungerar i praktiken.
