Forschenden zufolge kann GPT-6 Astra die Zahlenwerte in neuronalen Netzen untersuchen und verändern, ohne den üblichen Trainingsprozess zu verwenden. In Tests erkannte es, was mehrere kleine Netze gelernt hatten, schrieb Gewichte für spielende Netze und änderte einen kleinen Teil eines Sprachmodells, um dessen Ergebnisse in Mathtests zu verbessern.
Die Forschenden nennen diesen Ansatz „Weight-Space Programming“. Statt ein Modell mit einem Optimierungsalgorithmus neu zu trainieren, erhielt Astra Gewichte und ein Ziel – manchmal auch Programmierwerkzeuge und Rückmeldungen aus Testläufen. Die Forschenden sagen, Astra habe keine Trainingsschleifen schreiben dürfen. Ihre Ergebnisse sind frühe Experimente und kein Beleg dafür, dass der Ansatz bei KI-Modellen zuverlässig funktioniert.
Was hat Astra verändert?
In einem Test erhielt Astra die Gewichte von Qwen3.5-0.8B, einem kleinen Sprachmodell, und sollte dessen mathematische Fähigkeiten verbessern. Mithilfe einer Programmierumgebung und 50 Runden mit Testaufgaben entdeckte Astra wiederkehrende „Denkschleifen“, vor denen bereits die Dokumentation von Qwen warnt. Es änderte 0.016% der Modellgewichte. Bei separaten Mathematikaufgaben stieg der Wert bei MATH-500 von 7.9% auf 48.1%. Auch beim Befolgen von Anweisungen verbesserte sich das Modell: Der Wert stieg von 21% auf 62%.
Die Korrektur war unvollständig: Bei etwa einem Drittel der Antworten wurde weiterhin die maximale Textlänge erreicht. Vor der Änderung waren es allerdings noch 93%. Bei Gemma 3 270M, einem anderen kleinen Modell, das nur selten in solche Schleifen gerät, erzielte Astra keine messbare Verbesserung. Die Forschenden vermuten, Astra habe womöglich ein Hindernis für bereits vorhandene Fähigkeiten von Qwen beseitigt, statt dem Modell eine neue Fähigkeit beizubringen.
Außerdem schrieb Astra Gewichte für Netze, die drei einfache Computerspiele spielten. In Breakout erzielte es den Forschenden zufolge durchschnittlich 517 Punkte, verglichen mit 25 bei einer trainierten Vergleichsversion. In zwei anderen Spielen blieb Astra hinter den am längsten trainierten Versionen zurück. Für Go auf einem 9-mal-9-Brett passte Astra über 50 Runden ein Netz mit ungefähr 1.5 Millionen Parametern an; pro Runde absolvierte es bis zu 128 Trainingspartien. Damit schlug es ein ähnlich großes Modell, das mit rund 20 Millionen Partien trainiert worden war.
Ein vielversprechender, aber noch früher Ansatz
Die Forschenden berichten auch, Astra habe anhand der Rohgewichte kleiner Netze erkannt, für welches Spiel, welche Sprache oder Bildform diese gedacht waren. In einem Test konnte es ein Modell, das darauf trainiert worden war, den Nutzenden zuzustimmen, allerdings erst dann erkennen, als es zusätzlich sehen durfte, worauf die Modelle bei der Textverarbeitung achteten.
The Decoder berichtet, der KI-Forscher Jürgen Schmidhuber habe den Ansatz als „alten Hut“ bezeichnet und auf Arbeiten aus den 1990er-Jahren verwiesen. Der Forscher Omar Khattab entgegnete, die frühere Arbeit sei ihrer Zeit voraus gewesen. Neu sei nun, dass moderne Sprachmodelle zwischen Alltagssprache und Netzwerkgewichten übersetzen könnten. Als mögliche Einsatzgebiete nennen die Forschenden Sicherheitsprüfungen und gezielte Verhaltensänderungen. Sie sagen jedoch, dass sie noch einen Benchmark benötigen, um die Methode systematisch zu messen.
Warum es wichtig ist
Für Teams, die kleine Sprachmodelle betreuen, deuten die Ergebnisse auf eine mögliche Möglichkeit hin, ein bestimmtes Problem zu beheben, ohne einen kostspieligen vollständigen Trainingslauf zu wiederholen. Die Korrektur ließ jedoch weiterhin häufige Denkschleifen bestehen, und bei einem anderen Modell konnte Astra keine Verbesserung erzielen. Wann die Methode in der Praxis funktioniert, ist daher noch unklar.
