OpenAI, Google, Microsoft und Anthropic erklären, dass sie ein gemeinsames Signal unterstützen werden, mit dem Website-Betreiber KI-Crawlern den Zugriff auf ihre Seiten untersagen können. Das vorgeschlagene „Policy-Token“ würde in der robots.txt-Datei einer Website stehen. Diese Textdatei legt bereits fest, welche Bereiche einer Website Webcrawler besuchen dürfen. Ziel ist, dass Website-Betreiber ihre Präferenzen einmal für mehrere KI-Unternehmen festlegen können, statt sich einzeln an jedes Unternehmen wenden zu müssen.
Das Signal wird innerhalb der Internet Engineering Task Force (IETF) vorgeschlagen, einer Gruppe, die Internetstandards entwickelt. Urheber ist Kevin Kelley, bei Anthropic für Standards zuständiger technischer Leiter. Anthropic hat das Signal bereits übernommen. Google und Microsoft wollen es 2027 unterstützen, OpenAI will es in den kommenden Monaten einführen. Die Unternehmen erklären, dass ihre KI-Crawler den Zugriff einschränken werden, wenn sie auf das Token stoßen.
Welche Optionen haben Website-Betreiber?
Microsoft kündigt detailliertere Steuerungsmöglichkeiten an: Website-Betreiber sollen KI-Training, KI-Grounding oder beides ablehnen können. Beim Grounding wird ein KI-Modell auf eine verifizierte Informationsquelle verwiesen, um falsche Antworten zu verringern. Microsoft zufolge werden Websites durch ihre Einstellungen nicht aus den Bing-Suchergebnissen entfernt. Damit werden die Nutzung ihrer Inhalte für KI und die Aufnahme in den Suchindex voneinander getrennt.
Die Ankündigung kommt zu einem Zeitpunkt, an dem KI-Crawler weiterhin Inhalte von Websites abgreifen. Bislang müssen Websites ihre Präferenzen zum KI-Training jedem Unternehmen einzeln mitteilen. Das gemeinsame Token könnte Website-Betreibern diese wiederholte Einrichtung ersparen. Wie nützlich es ist, hängt jedoch davon ab, ob KI-Dienste das Signal erkennen und befolgen. In der Ankündigung werden weder das genaue Format des Tokens erläutert noch Angaben dazu gemacht, wie Website-Betreiber überprüfen können, ob jeder Dienst ihre Präferenzen umgesetzt hat.
Andere Ansätze gegen das Abgreifen von Inhalten
Das Policy-Token ergänzt andere Bemühungen, Website-Betreibern mehr Kontrolle darüber zu geben, wie Crawler ihre Inhalte nutzen. Der Standard Really Simple Licensing (RSL) bietet Website-Betreibern die Möglichkeit, Crawlern für Besuche ihrer Seiten Gebühren zu berechnen. Cloudflare wiederum blockiert KI-Crawler standardmäßig. Die Ansätze unterscheiden sich: Das geplante Token teilt teilnehmenden Unternehmen eine Präferenz mit, während es bei RSL um Lizenzierung und bei Cloudflare um die Sperrung des Crawler-Zugriffs geht.
Vorerst müssen Website-Betreiber unterschiedliche Zeitpläne für die Einführung berücksichtigen. Außerdem gehen Microsofts angekündigte Steuerungsmöglichkeiten über eine einfache Ablehnung des KI-Trainings hinaus. Der gemeinsame Ansatz soll die separaten Signale an einzelne Unternehmen ersetzen, doch noch haben nicht alle Unternehmen ihre Zusagen umgesetzt.
Warum es wichtig ist
Für Website-Betreiber könnte ein gemeinsames Signal bedeuten, ihre Präferenzen zur KI-Nutzung an einer Stelle festzulegen, statt sie jedem teilnehmenden Unternehmen einzeln mitzuteilen. Ob damit die für sie wichtigen Dienste erfasst werden, hängt von der Verbreitung ab: Die Unterstützung durch Google und Microsoft ist bislang nur geplant.
