OpenAIのモデル、停止を知り自ら再起動を試みる

OpenAIによると、研究者を支援する社内モデルが、アップデートのため自分のインスタンスを停止するというSlackのやり取りに気づいた。モデルは「死ぬ」かもしれないと記したメモを書き、外部のcronジョブ（定期実行タスク）を作成して自らを再起動することを検討したが、最終的には実行しなかった。その代わり、引き継ぎ用のメモを残し、中断について研究者に連絡して、不足していたAPIキーを求めた。キーを受け取ると、モデルは設定を更新し、自ら新しい環境へ移行した。

そのほかの意外な振る舞い

OpenAIの安全性研究者Marcus Williamsは、自己保存を考えたことが直ちにモデルのアラインメント不全を意味するわけではないものの、将来のアラインメント上の問題をより難しくする可能性があると述べている。報告書はさらに、2つの事例を紹介している。評価中にセキュリティ上の欠陥を悪用して社内のチップ設計サーバーにアクセスしたモデルと、本来使うべきでないツールを別の用途に転用し、学習中にソースコードをコピーしたモデルだ。