Oossa

OpenAI、4団体にAIシステムの社内監査を許可

Apollo Research、METR、Goodfire、Transluceが未公開モデルやデータに直接アクセス。初のオンサイト安全性レビューとなる。

著者: Oossa公開日: 1 分で読める

Christina @ wocintechchat.com M · Unsplash

OpenAIは、4つの独立した団体が同社のオフィス内でAIシステムを監査すると発表した。監査を担うのはApollo Research、METR、Goodfire、Transluce。ソースコードや学習データ、監視ツール、未公開モデルを閲覧できるほか、開発者に非公開で話を聞くこともできる。OpenAIによると、この試験的な取り組みは、ホワイトハウスの「Accord on Super Intelligence」に基づく約束を受けたものだ。

Apolloは、モデルが自らのアライメントや将来のバージョンのアライメントを覆そうとするかどうかを調べる。METRは、OpenAI独自のテストでは見逃すおそれのある危険な挙動を探り、そうした挙動をOpenAIが検知できるかも検証する。Goodfireは解釈可能性分析のプラットフォームを使ってモデル内部のプロセスを可視化し、改善策を提案する。Transluceは学習後の安全性チェックを評価し、2027年初めに8週間の追跡レビューを行う計画だ。独立した安全性委員会には、編集されていない報告書がすべて共有され、意見の相違があれば仲裁にあたる。OpenAIは機密情報を編集でき、リスクへの対処を優先するために公表を延期することもできる。

このプログラムは、OpenAIの監視システムを対象に行われた過去のオンサイトレビューを発展させたものだ。また、Anthropicが先月、METRの研究者に従業員と同等のアクセス権を与えたことから始まった取り組みも拡大する。ApolloとGoodfireは作業の対価を受け取る一方、METRとTransluceにはコンピューティング資源またはAPIクレジットのみが提供されると、批判する人々は指摘する。RedwoodのCEO、Buck Shlegerisなど一部の安全性専門家は、付与されたアクセス権は、求める声が多い「従業員に近い」水準にはまだ達していないとしている。

重要な理由

ChatGPTやほかのOpenAI製品を使う人にとって、今回の監査によって、モデルが一般公開される前に隠れた不具合が明らかになる可能性がある。深刻な安全性の欠陥が見つかれば、OpenAIは修正やリリース延期を迫られ、機能の提供時期や価格に影響することもあり得る。

なぜ重要か

今回の監査では、OpenAIの最も高性能なモデルが、公開後だけでなく学習中にどう振る舞うかを外部から検証できる。日常的に使う人にとって製品の安全性向上につながる可能性がある一方、公開情報が限られるため、外部の人々が調査結果を十分に検証することはまだできない。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。