Google will ab 2027 ein gemeinsames Signal in der Datei robots.txt unterstützen. Website-Betreiber sollen damit der Nutzung ihrer Inhalte für das Training von KI-Modellen bei mehreren teilnehmenden Anbietern auf einmal widersprechen können. Statt einzelne Sperrregeln für etwa OpenAIs GPTBot, Anthropics ClaudeBot und Googles Google-Extended zu pflegen, soll ein sogenanntes Policy-Token genügen.
Der Vorschlag geht auf Arbeiten der IETF-Arbeitsgruppe AI Preferences zurück. Die IETF ist eine Organisation, die technische Standards für das Internet entwickelt. Google will das Signal gemeinsam mit anderen Beteiligten weiter ausarbeiten; der Entwurf ist Teil dieser laufenden Arbeit. Google zufolge reagiert der Vorschlag auf Forderungen von Publishern, Behörden und zivilgesellschaftlichen Gruppen nach einer branchenweiten Möglichkeit, die Nutzung von Webinhalten zu steuern.
Ein Eintrag für mehrere Anbieter
Das geplante Token heißt __usage_ai-training. Es nutzt die vorhandene Struktur der robots.txt und bezeichnet nicht einen bestimmten Webcrawler, sondern den Zweck der Nutzung. Betreiber könnten damit beispielsweise das Training auf ihrer gesamten Website untersagen und zugleich einen Ordner wie /press-kit/ davon ausnehmen. Anbieter, die das gemeinsame Signal unterstützen, sollen die Regeln für ihre Nutzung auswerten.
Die robots.txt ist jedoch keine technische Zugriffssperre. Sie teilt kooperierenden Crawlern mit, welche Inhalte sie nicht abrufen sollen. Anbieter können diese Vorgaben ignorieren. Außerdem werden Programme, die das neue Token nicht kennen, den entsprechenden Eintrag laut dem Standard für robots.txt als unbekannte Regel behandeln und ignorieren.
Googles eigene Regeln bleiben bestehen
Die bisherigen anbieterspezifischen Steuerungen sollen parallel weiterlaufen. Betreiber können also eine allgemeine Präferenz festlegen und bei einzelnen Anbietern abweichende Regeln eintragen. Wenn eine Website das gemeinsame Signal gegen KI-Training nutzt, aber Google-Extended nicht ausdrücklich erwähnt, will Google dies als Sperre für Google-Extended behandeln.
Eine ausdrückliche Erlaubnis für Google-Extended hat laut Google eine weitere Folge: Sie ist Voraussetzung dafür, dass Websites beim sogenannten Grounding in Antworten der Gemini-Apps auftauchen und Klicks erhalten können. Dabei verknüpft Gemini Antworten mit aktuellen Webquellen und kann Links anzeigen. Der EU-Verhaltenskodex für Anbieter allgemeiner KI-Modelle erkennt robots.txt als Möglichkeit an, maschinenlesbare Nutzungsvorbehalte mitzuteilen. Ob und wann weitere Anbieter das Signal übernehmen, ist noch nicht festgelegt.
Warum es wichtig ist
Für Betreiber von Websites könnte ein gemeinsamer Eintrag die Pflege einzelner KI-Sperrregeln vereinfachen, sobald Anbieter das Signal unterstützen. Er garantiert aber nicht, dass alle Bots die Vorgabe beachten; zudem ist noch offen, welche Anbieter mitmachen.
