OpenAI, Google, Microsoft и Anthropic заявили, что поддержат общий сигнал, с помощью которого издатели смогут запретить ИИ-краулерам обращаться к их сайтам. Предлагаемый «токен политики» будет размещаться в файле robots.txt — текстовом файле, который уже указывает веб-краулерам, какие разделы сайта им разрешено посещать. Цель — дать издателям возможность один раз задать предпочтения для нескольких компаний, а не настраивать правила отдельно для каждой.
Сигнал предложен в рамках Internet Engineering Task Force (IETF) — организации, разрабатывающей интернет-стандарты. Инициатором выступил Кевин Келли, технический руководитель по стандартам в Anthropic. Компания уже внедрила этот сигнал. Google и Microsoft планируют поддержать его в 2027 году, а OpenAI обещает внедрить в ближайшие месяцы. Компании заявляют, что их ИИ-краулеры будут ограничивать доступ, если обнаружат токен.
Что смогут выбрать издатели?
Microsoft заявляет, что предложит более подробные настройки: издатели смогут отдельно отказаться от использования контента для обучения ИИ, для привязки ответов ИИ к проверенным источникам или сразу для обоих вариантов. Такая привязка помогает направлять модель к проверенному источнику информации и снижать вероятность неверных ответов. По словам Microsoft, настройки сайта не повлияют на его присутствие в результатах поиска Bing: использование контента сайтом для ИИ будет отделено от индексации в поиске.
Объявление прозвучало на фоне продолжающегося сбора данных с сайтов ИИ-краулерами. Сейчас сайтам приходится отдельно сообщать каждой компании о своих предпочтениях относительно обучения ИИ. Общий токен может избавить издателей от повторения одних и тех же настроек, однако его эффективность зависит от того, будут ли ИИ-сервисы распознавать сигнал и соблюдать его. В объявлении не указаны подробный формат токена и способ, с помощью которого издатели смогут проверить, что каждый сервис учёл их настройки.
Другие способы контролировать сбор данных
Токен политики — один из нескольких способов дать издателям больше контроля над тем, как краулеры используют их материалы. Стандарт Really Simple Licensing (RSL) позволяет издателям взимать плату с краулеров, посещающих их сайты. Cloudflare, в свою очередь, по умолчанию блокирует ИИ-краулеры. Эти подходы различаются: предлагаемый токен сообщает о предпочтениях компаниям-участницам, RSL сосредоточен на лицензировании, а Cloudflare блокирует доступ краулеров.
Пока издателям придётся учитывать разные сроки внедрения, а обещанные Microsoft настройки выходят за рамки простого отказа от обучения ИИ. Общий механизм призван заменить отдельные сигналы для каждой компании, но обязательства компаний ещё не реализованы в полном объёме.
Почему это важно
Издатели смогут задавать предпочтения относительно использования контента ИИ в одном месте, а не повторять настройки для каждой компании-участницы. Но охват нужных им сервисов зависит от того, кто внедрит сигнал: поддержка со стороны Google и Microsoft пока только запланирована.
