OpenAI, Google, Microsoft e Anthropic afirmam que vão apoiar um sinal comum que publishers poderão usar para impedir que crawlers de IA acessem seus sites. O chamado “token de política” ficaria no arquivo robots.txt do site, um arquivo de texto que já informa aos robôs de busca quais partes de um site eles podem visitar. A ideia é permitir que publishers definam suas preferências uma única vez para várias empresas de IA, em vez de lidar com cada uma separadamente.
O sinal está sendo proposto no âmbito da Internet Engineering Task Force (IETF), grupo que desenvolve padrões para a internet. A proposta é de Kevin Kelley, responsável técnico por padrões na Anthropic, que já adotou o sinal. Google e Microsoft planejam oferecer suporte em 2027, enquanto a OpenAI afirma que vai implementá-lo nos próximos meses. As empresas dizem que seus crawlers de IA restringirão o acesso ao encontrar o token.
O que os publishers podem escolher?
A Microsoft diz que oferecerá controles mais detalhados: publishers poderão recusar o uso de seus sites para treinamento de IA, para grounding de IA ou para ambos. Grounding é o direcionamento de um modelo de IA a uma fonte de informação verificada, para ajudar a reduzir respostas incorretas. A Microsoft afirma que as preferências de um site não o excluirão dos resultados de busca do Bing, separando o uso do conteúdo para IA da indexação para buscas.
O anúncio chega enquanto publishers continuam enfrentando a coleta de conteúdo por crawlers de IA. Hoje, os sites precisam informar separadamente a cada empresa suas preferências sobre treinamento de IA. O token comum pode reduzir esse trabalho repetitivo, mas sua utilidade depende de os serviços de IA reconhecerem e respeitarem o sinal. O anúncio não detalha o formato do token nem explica como os publishers poderão verificar se todos os serviços aplicaram suas preferências.
Outras iniciativas contra a coleta de conteúdo
O token de política se soma a outras iniciativas para dar aos publishers mais controle sobre o uso de seu material por crawlers. O padrão Really Simple Licensing, ou RSL, permite que publishers cobrem dos crawlers que visitam seus sites. Já a Cloudflare bloqueia crawlers de IA por padrão. As abordagens são diferentes: o token proposto comunica uma preferência às empresas participantes; o RSL se concentra no licenciamento, e a Cloudflare, no bloqueio do acesso dos crawlers.
Por enquanto, os publishers terão de considerar os diferentes prazos de adoção; além disso, os controles prometidos pela Microsoft vão além de uma simples recusa ao treinamento. A iniciativa comum pretende substituir os sinais enviados separadamente a cada empresa, mas nem todos os compromissos já estão em vigor.
Por que importa
Para os publishers, um sinal comum pode permitir que definam em um só lugar suas preferências sobre o uso de conteúdo por IA, em vez de repeti-las para cada empresa participante. A cobertura dos serviços que lhes interessam dependerá da adoção; o suporte de Google e Microsoft ainda está planejado, não disponível.
