OpenAI, Google, Microsoft et Anthropic indiquent qu’ils prendront en charge un signal commun permettant aux éditeurs de demander aux robots d’exploration de l’IA de ne pas accéder à leurs sites. Ce « jeton de politique » proposé serait placé dans le fichier robots.txt d’un site, un fichier texte qui indique déjà aux robots d’exploration quelles parties du site ils peuvent visiter. L’objectif est de permettre aux éditeurs de définir leurs préférences une seule fois pour plusieurs entreprises d’IA, plutôt que de devoir s’adresser à chacune séparément.
Ce signal est proposé dans le cadre de l’Internet Engineering Task Force (IETF), un organisme qui élabore les normes d’Internet. Il a été proposé par Kevin Kelley, responsable technique des normes chez Anthropic. Anthropic l’a déjà adopté. Google et Microsoft prévoient de le prendre en charge en 2027, tandis qu’OpenAI dit vouloir le mettre en œuvre dans les prochains mois. Les entreprises indiquent que leurs robots d’exploration de l’IA limiteront l’accès lorsqu’ils rencontreront ce jeton.
Quelles options pour les éditeurs ?
Microsoft indique qu’il proposera des contrôles plus précis : les éditeurs pourront refuser l’utilisation de leurs contenus pour l’entraînement de l’IA, pour l’ancrage de l’IA, ou pour les deux. L’ancrage consiste à orienter un modèle d’IA vers une source d’information vérifiée afin de réduire le risque de réponses erronées. Microsoft précise que les préférences d’un site ne le retireront pas des résultats de recherche de Bing, dissociant ainsi l’utilisation de son contenu par l’IA de son indexation dans les moteurs de recherche.
Cette annonce intervient alors que les éditeurs continuent de faire face au scraping par les robots d’exploration de l’IA. À l’heure actuelle, les sites doivent signaler séparément à chaque entreprise leurs préférences concernant l’entraînement de l’IA. Le jeton commun pourrait leur éviter ces réglages répétitifs, mais son utilité dépendra de la capacité des services d’IA à reconnaître le signal et à le respecter. L’annonce ne précise pas le format détaillé du jeton ni comment les éditeurs pourront vérifier que chaque service a bien appliqué leurs préférences.
D’autres solutions contre le scraping
Le jeton de politique vient s’ajouter à d’autres initiatives visant à donner aux éditeurs davantage de contrôle sur l’utilisation de leurs contenus par les robots d’exploration. La norme Really Simple Licensing, ou RSL, permet aux éditeurs de facturer les robots qui visitent leurs sites. Cloudflare, de son côté, bloque par défaut les robots d’exploration de l’IA. Ces approches sont différentes : le jeton proposé communique une préférence aux entreprises participantes, tandis que RSL porte sur les licences et Cloudflare sur le blocage de l’accès des robots.
Pour l’instant, les éditeurs devront tenir compte des différents calendriers d’adoption, et les contrôles promis par Microsoft vont au-delà d’un simple refus de l’entraînement de l’IA. Cette approche commune vise à remplacer les signaux distincts adressés à chaque entreprise, mais les engagements des entreprises ne sont pas encore tous en vigueur.
Pourquoi c'est important
Pour les éditeurs, un signal commun pourrait permettre de définir leurs préférences concernant l’utilisation de l’IA en un seul endroit, plutôt que de les répéter pour chaque entreprise participante. La couverture des services qui les intéressent dépendra de l’adoption du signal ; la prise en charge par Google et Microsoft est encore prévue, et non déjà disponible.
