OpenAI、Google和Microsoft支持统一的AI退出信号

OpenAI、Google、Microsoft和Anthropic表示，将支持一种统一信号，让出版商据此告知AI爬虫不要访问自己的网站。这种拟议中的“policy token”将写入网站的 robots.txt 文件。该文本文件原本就用于告知网络爬虫可以访问网站的哪些部分。此举旨在让出版商只需设置一次，就能向多家AI公司表达偏好，而不必逐一联系。

这项信号由负责制定互联网标准的组织互联网工程任务组（IETF）提出，提案来自Anthropic标准事务技术负责人Kevin Kelley。Anthropic已采用这一信号。Google和Microsoft计划在2027年支持，OpenAI则表示将在未来几个月内实施。各家公司称，AI爬虫遇到该令牌时会限制访问。

出版商可以选择什么？

Microsoft表示将提供更细致的控制选项：出版商可以选择退出AI训练、AI grounding，或两者都退出。Grounding是指让AI模型参考经过验证的信息来源，以帮助减少错误回答。Microsoft称，网站的相关偏好不会导致其从Bing搜索结果中消失，从而将网站内容的AI用途与搜索索引区分开来。

这项公告发布之际，AI爬虫仍在持续抓取出版商内容。目前，网站必须分别向每家公司表达对AI训练的偏好。统一令牌有望减少出版商反复进行的设置，但实际效果取决于AI服务是否识别并遵守这一信号。公告没有说明令牌的具体格式，也未解释出版商如何确认每项服务都已落实其偏好。

应对抓取的其他做法

policy token是出版商争取更多控制权的又一项举措，旨在管理爬虫如何使用其内容。Really Simple Licensing标准（简称RSL）允许出版商向访问其网站的爬虫收费。Cloudflare则默认拦截AI爬虫。这些做法各有不同：拟议中的令牌向参与的公司传达出版商的偏好，RSL侧重许可，Cloudflare则侧重阻止爬虫访问。

目前，出版商仍需考虑各方不同的采用时间表，而且Microsoft承诺提供的控制选项不止于简单退出训练。统一方案旨在取代向每家公司分别发送信号的做法，但各公司的承诺尚未全部落实。