OpenAI, Google, Microsoft en Anthropic zeggen een gezamenlijk signaal te gaan ondersteunen waarmee uitgevers AI-crawlers kunnen laten weten dat ze hun websites niet mogen bezoeken. De voorgestelde ‘policy token’ komt in het robots.txt-bestand van een website te staan. Dat tekstbestand geeft webcrawlers nu al aan welke delen van een site ze mogen bezoeken. Het doel is dat uitgevers hun voorkeuren in één keer voor meerdere AI-bedrijven kunnen instellen, in plaats van met elk bedrijf apart zaken te moeten doen.
Het signaal wordt voorgesteld binnen de Internet Engineering Task Force (IETF), een organisatie die internetstandaarden ontwikkelt. Het voorstel komt van Kevin Kelley, technisch leider voor standaarden bij Anthropic. Anthropic heeft het signaal al ingevoerd. Google en Microsoft willen het in 2027 ondersteunen; OpenAI zegt het de komende maanden te zullen invoeren. De bedrijven zeggen dat hun AI-crawlers de toegang zullen beperken wanneer ze de token tegenkomen.
Waar kunnen uitgevers voor kiezen?
Microsoft zegt uitgebreidere instellingen aan te bieden: uitgevers kunnen zich afmelden voor AI-training, AI-grounding of allebei. Bij grounding wordt een AI-model naar een geverifieerde informatiebron geleid, om onjuiste antwoorden te helpen voorkomen. Volgens Microsoft verdwijnen websites niet uit de zoekresultaten van Bing als ze hun voorkeuren instellen. Zo worden AI-toepassingen van de inhoud van een site losgekoppeld van de indexering voor zoekresultaten.
De aankondiging komt op een moment dat AI-crawlers websites blijven scrapen. Op dit moment moeten websites hun voorkeuren voor AI-training bij elk bedrijf afzonderlijk aangeven. De gedeelde token kan uitgevers die herhaalde instellingen besparen, maar het nut ervan hangt af van de vraag of AI-diensten het signaal herkennen en opvolgen. In de aankondiging staat niet precies hoe de token eruit zal zien, noch hoe uitgevers kunnen controleren of elke dienst hun voorkeuren heeft toegepast.
Andere manieren om scraping aan te pakken
De policy token sluit aan bij andere initiatieven om uitgevers meer controle te geven over het gebruik van hun materiaal door crawlers. Met de Really Simple Licensing-standaard, of RSL, kunnen uitgevers crawlers laten betalen voor het bezoeken van hun websites. Cloudflare blokkeert AI-crawlers standaard. De aanpakken verschillen: de voorgestelde token geeft bij deelnemende bedrijven een voorkeur door, terwijl RSL zich richt op licenties en Cloudflare op het blokkeren van toegang voor crawlers.
Voorlopig moeten uitgevers rekening houden met verschillende invoeringsschema’s. Bovendien bieden de toegezegde instellingen van Microsoft meer mogelijkheden dan alleen afmelden voor AI-training. De gezamenlijke aanpak moet aparte signalen voor elk bedrijf vervangen, maar de toezeggingen van de bedrijven zijn nog niet allemaal uitgevoerd.
Waarom het ertoe doet
Voor uitgevers kan een gedeeld signaal betekenen dat ze hun voorkeuren voor AI-gebruik op één plek kunnen instellen, in plaats van die bij elk deelnemend bedrijf te herhalen. Of dat ook geldt voor de diensten die voor hen belangrijk zijn, hangt af van de invoering: de steun van Google en Microsoft is nog gepland en dus niet al beschikbaar.
