OpenAI、Google、Microsoft、Anthropicは、AIクローラーにサイトへアクセスしないよう伝えるため、サイト運営者が利用できる共通シグナルを支持すると表明しました。「ポリシートークン」と呼ばれるこの案では、ウェブサイトのrobots.txtファイルに設定を記載します。robots.txtは、ウェブクローラーがサイト内のどの部分を閲覧できるかを指定する既存のテキストファイルです。複数のAI企業それぞれに個別対応するのではなく、一度の設定で希望を伝えられるようにすることが狙いです。
このシグナルは、インターネット標準の策定団体であるInternet Engineering Task Force（IETF）で提案されています。提案者は、Anthropicで標準化を担当するテクニカルリードのKevin Kelleyです。Anthropicはすでにこのシグナルを採用しています。GoogleとMicrosoftは2027年の対応を予定しており、OpenAIは今後数カ月以内に実装するとしています。各社によると、AIクローラーはトークンを検知するとアクセスを制限します。
サイト運営者が選べる設定
Microsoftは、より細かな制御を提供するとしています。サイト運営者は、AI学習、AIグラウンディング、またはその両方を拒否できるようになります。グラウンディングとは、誤った回答を減らすため、AIモデルを信頼できる情報源に照らし合わせることです。Microsoftによると、サイトの設定によってBingの検索結果から除外されることはありません。サイトのコンテンツをAIに利用することと、検索インデックスへの登録を分けて扱います。
この発表の背景には、AIクローラーによるコンテンツの収集が続き、サイト運営者が対応を迫られている状況があります。現状では、AI学習に関する希望を各社に個別に伝える必要があります。共通トークンによって、同じ設定を繰り返す手間は減る可能性がありますが、実際に役立つかどうかは、AIサービスがシグナルを認識し、従うかにかかっています。発表では、トークンの具体的な形式や、すべてのサービスが設定を反映したことをサイト運営者がどう確認するのかは説明されていません。
コンテンツ収集への別の対策
このポリシートークンは、クローラーによるコンテンツ利用をサイト運営者が制御できるようにする、ほかの取り組みに加わるものです。Really Simple Licensing（RSL）標準では、サイトを訪れるクローラーに料金を請求できます。一方、CloudflareはAIクローラーをデフォルトでブロックしています。これらの方法はそれぞれ異なります。提案中のトークンは参加企業に共通の希望を伝えるもので、RSLはライセンス、Cloudflareはクローラーのアクセス遮断を重視しています。
当面、サイト運営者は各社で異なる導入時期を考慮する必要があり、Microsoftが約束する制御機能は単純なAI学習の拒否よりも幅広いものです。共通の仕組みは、各社に個別のシグナルを送る方法に代わることを目指していますが、各社の対応はまだすべて始まっているわけではありません。
なぜ重要か
サイト運営者は、参加企業ごとに設定を繰り返す代わりに、AIによる利用の希望を一カ所で伝えられる可能性があります。ただし、どのサービスに適用されるかは各社の導入次第です。GoogleとMicrosoftの対応はまだ予定段階で、現時点ですでに利用できるものではありません。
