Google, Microsoft, Anthropic et OpenAI ont annoncé le 30 octobre qu’ils respecteraient une même consigne dans le fichier robots.txt des sites web. Elle permettrait aux éditeurs de signaler s’ils acceptent ou refusent que leurs contenus servent à entraîner des IA génératives. Le texte, intitulé « Machine-Readable Training Preference Signal », est une proposition destinée à être examinée par l’IETF, l’organisme qui établit des standards techniques pour Internet. Ce n’est donc pas encore une règle adoptée par l’ensemble du secteur.
La proposition a été rédigée par Kevin Kelley, ingénieur chez Anthropic. Elle ajoute un jeton nommé « __usage_ai-training » aux instructions de robots.txt. Aujourd’hui, un site qui veut refuser l’entraînement doit généralement viser séparément les robots de chaque entreprise, comme GPTBot pour OpenAI et Google-Extended pour Google. Le nouveau jeton vise à regrouper cette préférence pour les fournisseurs qui acceptent de le reconnaître.
Comment la consigne fonctionnerait-elle ?
L’éditeur placerait le jeton après « User-Agent », puis indiquerait les chemins concernés avec « Disallow » pour refuser l’entraînement ou « Allow » pour l’autoriser. Par exemple, « Disallow: / » refuse l’usage de tout le site, tandis que « Allow: /press-kit/ » autorise l’entraînement sur le dossier de presse. Les règles habituelles visant les robots continueraient de s’appliquer séparément.
Les dates auxquelles les entreprises prendront en charge le signal varient, mais les quatre promettent de le respecter dans les prochains mois. Le texte proposé doit expirer le 3 mai 2027 si aucune nouvelle version n’est publiée d’ici là.
Une promesse, pas un blocage
Ce signal ne bloque pas l’accès des robots à un site : il exprime seulement une préférence concernant l’entraînement. Il ne s’applique qu’aux contenus récupérés après son ajout et ne retire pas des modèles les données qui ont déjà servi à les entraîner.
L’engagement est volontaire. Le texte ne prévoit ni contrôle ni sanction, et un éditeur ne dispose pas d’un moyen de vérifier si une consigne de refus a été respectée. Le signal ne concerne pas non plus les entreprises qui ne se sont pas engagées, notamment Apple, Amazon et Meta. D’autres développeurs peuvent également choisir de ne pas lire ce jeton, comme certains robots ignorent déjà robots.txt.
Pourquoi c'est important
Pour les éditeurs de sites, le jeton pourrait éviter de rédiger une consigne distincte pour chaque fournisseur participant. Mais il ne bloque pas la collecte et ne garantit pas le respect du refus : son effet concret dépendra des entreprises qui l’adopteront.
