OpenAI, Google, Microsoft och Anthropic säger att de ska stödja en gemensam signal som utgivare kan använda för att tala om för AI-crawlers att inte besöka deras webbplatser. Den föreslagna ”policy token” skulle placeras i webbplatsens robots.txt-fil, en textfil som redan talar om för webbcrawlers vilka delar av en webbplats de får besöka. Tanken är att utgivare ska kunna ange sina önskemål en gång för flera AI-företag i stället för att hantera varje företag separat.
Signalen föreslås inom Internet Engineering Task Force (IETF), en organisation som tar fram internetstandarder. Initiativet kommer från Kevin Kelley, teknisk standardansvarig på Anthropic. Anthropic har redan infört signalen. Google och Microsoft planerar att stödja den 2027, medan OpenAI säger att företaget ska införa den under de kommande månaderna. Företagen säger att deras AI-crawlers kommer att begränsa åtkomsten när de stöter på tokenen.
Vad kan utgivare välja?
Microsoft säger att företaget kommer att erbjuda mer detaljerade inställningar: utgivare ska kunna välja bort AI-träning, AI-grounding eller båda. Grounding innebär att styra en AI-modell till en verifierad informationskälla för att bidra till färre felaktiga svar. Microsoft säger att webbplatsens inställningar inte kommer att ta bort den från Bings sökresultat. På så sätt skiljs användningen av webbplatsens innehåll i AI-tjänster från indexeringen för sök.
Beskedet kommer samtidigt som utgivare fortsatt drabbas av att AI-crawlers hämtar innehåll från deras webbplatser. I dag måste webbplatser ange sina önskemål om AI-träning separat till varje företag. Den gemensamma tokenen kan minska det upprepade arbetet för utgivare, men nyttan beror på om AI-tjänsterna känner igen och följer signalen. I beskedet specificeras inte tokenens format eller hur utgivare ska kunna kontrollera att varje tjänst har tillämpat deras inställningar.
Andra sätt att hantera scraping
Policy token blir en del av andra initiativ för att ge utgivare större kontroll över hur crawlers använder deras material. Standarden Really Simple Licensing, eller RSL, ger utgivare möjlighet att ta betalt av crawlers som besöker deras webbplatser. Cloudflare blockerar i stället AI-crawlers som standard. Lösningarna skiljer sig åt: den föreslagna tokenen förmedlar en inställning till företag som deltar, medan RSL fokuserar på licensiering och Cloudflare på att blockera crawleråtkomst.
Tills vidare måste utgivare ta hänsyn till att lösningarna införs vid olika tidpunkter, och Microsofts utlovade inställningar går längre än att bara välja bort AI-träning. Den gemensamma lösningen är tänkt att ersätta separata signaler till varje företag, men företagens åtaganden har ännu inte alla trätt i kraft.
Varför det spelar roll
För utgivare kan en gemensam signal innebära att de anger sina önskemål om AI-användning på ett ställe i stället för att upprepa dem för varje företag som deltar. Om signalen omfattar de tjänster de bryr sig om beror på hur många som inför den; Googles och Microsofts stöd är fortfarande planerat och finns inte på plats än.
