Les plus grands noms de l'intelligence artificielle ont accepté de respecter un signal unique qui permet aux éditeurs de bloquer le scraping de l'IA sur plusieurs crawlers à la fois. OpenAI, Google, Microsoft et Anthropic ont annoncé qu'ils adopteront ce standard commun, révélé d'abord par Search Engine Roundtable et détaillé par The Verge, afin qu'un site puisse appliquer ses préférences d'entraînement de l'IA en un seul endroit plutôt que de négocier avec chaque entreprise individuellement.
Cette annonce arrive alors que les rédactions et les sites indépendants peinent face à une vague croissante de crawlers d'IA qui aspirent leurs contenus pour entraîner des modèles. Jusqu'ici, bloquer ces crawlers obligeait à modifier robots.txt pour chaque fournisseur l'un après l'autre, une tâche lente et source d'erreurs pour les petites équipes éditoriales. Le nouveau standard doit transformer cette démarche en un simple interrupteur.
Comment fonctionne le standard de retrait pour l'IA
Le mécanisme repose sur un « jeton de politique » commun, proposé par Kevin Kelley, responsable technique des standards chez Anthropic, dans le cadre de l'Internet Engineering Task Force (IETF). Il s'insère dans le fichier robots.txt d'un site, ce fichier texte ancien qui indique déjà aux crawlers s'ils peuvent indexer ou archiver un site. Une fois le jeton en place, les entreprises d'IA participantes affirment qu'elles restreindront l'accès de leurs crawlers au site.
C'est un changement par rapport au système actuel en mosaïque, où chaque entreprise d'IA propose ses propres contrôles et où les éditeurs doivent répéter le même retrait sans cesse. Microsoft a précisé qu'il offrira des contrôles granulaires, permettant aux éditeurs de séparer l'entraînement de l'IA du « grounding », le processus qui consiste à pointer un modèle vers une source vérifiée pour réduire les hallucinations. Google dispose déjà de contrôles similaires couvrant les fonctions de recherche par IA et l'entraînement, sans affecter la visibilité dans la recherche.
