AI学習の拒否をrobots.txtで共通指定、各社が対応へ

OpenAI、Google、Microsoftは2026年10月30日、Webサイト運営者がAI学習への利用を拒否または許可する意思を、複数のAI企業にまとめて伝える仕組みに対応する方針を発表しました。Anthropicも実装を始めています。仕組みは、サイトへのアクセスルールを書く「robots.txt」に共通の指定を加えるものです。

提案された草案では、「__usage_ai-training」という共通のトークンを使います。その下に「Disallow: /」と書けば、サイト全体をAI学習に使わないよう求められます。「Allow」を使って許可したり、特定のページだけを例外にしたりする指定もできます。これまではAI企業ごとに別々のクローラー向けルールを設定する必要がありました。

学習拒否はクロール拒否とは別

この指定が表すのは、生成AIモデルの学習済みパラメーターを変えるためにコンテンツを使うことへの意向です。サイトをクロールさせない設定ではありません。クロール自体を止めたい場合は、従来どおり各社のクローラー向けルールが必要です。共通トークンを書かなければ、学習について意思表示がないものとして扱われます。

Googleは独自の設定「Google-Extended」も引き続き提供します。Googleの説明では、共通ルールで学習を拒否し、Google-Extendedを明示していないサイトは、Google-Extendedでも拒否したものとして扱う方針です。一方、Google-Extendedを許可したサイトは、Geminiアプリが回答を作る際にWeb情報を参照する「グラウンディング」の対象になり、リンク経由のクリックを得る可能性があります。

導入時期とMicrosoft独自の設定

各社の予定は同じではありません。OpenAIは今後数カ月以内の対応を目指し、Googleは他社とともに2027年の対応を予定しています。Microsoftは2027年2月1日から新設定を読み取り、適用すると発表しました。Anthropicは実装を始めたものの、全サービスへの展開には時間がかかるとしています。

Microsoftは学習の指定に加え、AIの回答生成時にコンテンツを使うグラウンディングをページ単位で制御する設定も設けます。「DisallowExtended」なら、CopilotやMicrosoft 365などMicrosoft自身のサービスでの利用は認めつつ、外部企業向けのWeb IQやAPIを通じた利用を拒否できます。Microsoftによると、これらの設定はBingの通常の検索結果への掲載には影響しません。

共通ルールは、IETF（インターネット技術の標準化団体）の作業グループでの議論をもとにした草案です。現時点では正式な標準ではなく、各社独自の設定や個別契約が優先される場合もあります。Microsoftは旧設定の「NoArchive」「NoCache」を使うサイトに、2027年3月1日までの移行を求めています。