# GPT-6 Astra、再学習せずAIモデルの重みを編集

> 研究者らによると、Astraは重みを直接操作し、ニューラルネットワークを特定・作成・変更した。小型言語モデルの一つは、狙いを定めた編集後に数学テストの成績が向上した。

Oossa · 2026-11-04 · https://oossa.com/ja/gpt-6-astra-edits-ai-model-weights-without-retraining

研究者らは、GPT-6 Astraが通常の学習プロセスを使わずに、ニューラルネットワーク内部の数値重みを調べ、変更できると報告している。実験では、複数の小型ネットワークが何を学習したかを特定し、ゲームをプレイするネットワークの重みを書き込み、言語モデルの一部を変更して数学の成績を向上させた。

研究者らはこの手法を「Weight-Space Programming」と呼ぶ。最適化アルゴリズムでモデルを再学習するのではなく、Astraに重みと目標を与え、場合によってはプログラミングツールやテスト実行からのフィードバックも使わせた。研究者らによれば、Astraに学習ループを書かせることは認めていない。今回の成果は初期段階の実験であり、この手法がさまざまなAIモデルで安定して機能する証拠ではない。

## Astraは何を変更したのか？

ある実験では、小型言語モデルのQwen3.5-0.8Bの重みをAstraに与え、数学能力を高めるよう指示した。コーディング環境と50ラウンドの問題テストを使い、AstraはQwenの文書でもすでに注意喚起されていた、反復的な「思考ループ」を特定した。モデルの重みの0.016%を編集したところ、別の数学問題を使ったMATH-500のスコアは7.9%から48.1%に上昇した。指示への追従スコアも21%から62%に上がった。

ただし、修正は完全ではなかった。応答の約3分の1は依然としてテキストの最大長に達したが、変更前の93%からは減少した。こうしたループに陥ることが少ない別の小型モデル、Gemma 3 270Mでは、Astraによる測定可能な改善はなかった。研究者らは、Astraがモデルに欠けていた能力を加えたというより、Qwenがすでに持っていた能力を発揮する妨げを取り除いた可能性があるとみている。

Astraは、3種類のシンプルなコンピューターゲームをプレイするネットワークの重みも作成した。研究者らによると、Breakoutでは平均スコアが517で、学習済みのベースラインの25を上回った。一方、ほかの2つのゲームでは、最も長く学習させたモデルには及ばなかった。9×9の囲碁では、Astraは約150万パラメーターのネットワークを50ラウンドにわたって調整し、各ラウンドで最大128局の練習対局を行った。その結果、約2000万局で学習させた同程度の規模のモデルに勝った。

## 有望だが、まだ初期段階の手法

研究者らは、小型ネットワークの生の重みから、Astraが想定されたゲームや言語、画像の形状を特定できたとも報告している。ある実験では、テキスト処理中にモデルがどこに注目しているかも確認できるようにした場合に限り、ユーザーに同調するよう学習させたモデルを見分けられた。

The Decoderによると、AI研究者のJürgen Schmidhuberは、この手法を「時代遅れ」と評し、1990年代の研究を挙げた。研究者のOmar Khattabは、当時の研究は時代を先取りしていたと応じ、現在の新しさは、現代の言語モデルが一般的な言葉とネットワークの重みを相互に変換できる点にあると述べた。研究者らはセキュリティ監査や、特定の挙動を変える用途を挙げる一方、この手法を体系的に測定するベンチマークが必要だとしている。

## 事実

- 数学の実験で、AstraはQwen3.5-0.8Bの重みの0.016%を変更した。
- 編集後のQwenモデルは、別の問題を使ったMATH-500でスコアが7.9%から48.1%に上昇した。
- 編集後もQwenの応答の約3分の1はテキストの最大長に達したが、変更前の93%からは減少した。
- 研究者らによると、Astraが作成したBreakout用ネットワークの平均スコアは517で、学習済みベースラインは25だった。
- 研究者らによると、Astraの囲碁ネットワークは約150万パラメーターで、約2000万局で学習させた同程度の規模のモデルに勝った。

## なぜ重要か

小型言語モデルを運用するチームにとって、今回の結果は、コストのかかる全面的な再学習を繰り返さずに、特定の不具合に対処できる可能性を示している。ただし、ループを繰り返す応答は依然として多く、別のモデルでは改善が見られなかったため、実際にどのような場合にこの手法が有効なのかはまだ明らかでない。

## 出典と参考資料

1. [GPT-6 Astra sees the matrix and reprograms other AI models directly through their weights](https://the-decoder.com/gpt-6-astra-sees-the-matrix-and-reprograms-other-ai-models-directly-through-their-weights/) – The Decoder, 2026-11-04
2. [Weight-Space Programming authors (institution not identified in the fetched text)](https://rikiyat.github.io/blog/weight-space-programming/?trk=public_post_comment-text) – Weight-Space Programming authors (institution not identified in the fetched text)

最終更新: 2026-11-04