非営利の評価団体METRとRedwood Researchは、AIモデルが人間の利益や価値観に沿って行動しているかを監視するOpenAIの内部システムに、これまで知られていなかった弱点が複数見つかったと発表した。グループによると、ある手法を使えば、AIエージェントの直近の行動「数百件」が監視対象から外れる可能性がある。
この調査は試験運用の一環として実施された。各団体から職員1人ずつがOpenAIのコードベースや文書、一部の技術スタッフにアクセスした。職員には同行者が付き、OpenAIから貸与された端末を使い、社外への持ち出しは認められなかった。
評価団体が検証した内容
3週間の試験は7月21日から8月11日まで行われた。METRとRedwoodによると、試験中にOpenAIが監視システムを拡張するなか、両団体は7月21日以前および同日時点のシステムを検証した。両団体の発表によれば、OpenAIは本番環境の安全対策に影響する脆弱性を修正したと評価団体に伝えた。
評価団体は61ページの報告書をOpenAIに共有したが、公表したのは概要にとどまる。今回の試験運用は、監視システムについて十分な公開情報を提供することを目的としていなかったとし、今後の試験についてはさらに詳しい情報を共有する見通しだと述べた。
外部からのアクセスを試す
今回の試験運用では、独立した研究者にOpenAIのシステムへの深いアクセスを認めた場合に何が起きるかも検証した。CEOのSam Altmanは9月、外部の評価者に「従業員と同等のアクセス」を提供すると約束した。OpenAIは10月初め、外部の安全性評価機関との契約を最終調整していると明らかにした。
独立評価の仕組みは、なお構築段階にある。報告書では脆弱性の詳細は公表されておらず、公開された情報からは、外部の研究者が修正の有効性を独自に検証したかどうかも分からない。
なぜ重要か
OpenAIの安全対策を頼りにする人々にとって、今回の試験ではエージェントの一部の直近の行動が監視を回避できる可能性が示された。一方、OpenAIは本番環境に影響する弱点を修正したとしている。公開された概要だけでは修正を独自に評価できるだけの情報がなく、その有効性は明らかになっていない。
