robots.txt
robots.txt est le fichier de permissions de récupération à la racine du site. Les crawlers IA le lisent également. Une mauvaise configuration vous fait disparaître de l'entraînement, de la recherche, ou des deux.
Allow et Disallow restent la langue du jeu. Les groupes User-agent incluent désormais GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Bytespider, et celui qui sortira la semaine prochaine.
Bloquer les bots d'entraînement tout en autorisant les bots de recherche est un choix stratégique. Bloquer tout et se demander pourquoi ChatGPT Search ne vous cite jamais, c'est se tirer une balle dans le pied.
robots.txt n'est pas une authentification. Les scrapers malins l'ignorent. Les vrais crawlers des grands laboratoires le respectent généralement parce qu'ils veulent rester invités.
Exemples
- Un éditeur met GPTBot en Disallow et reste bien classé sur Google. La mémoire de ChatGPT à son sujet vieillit comme du lait. C'est prévu.
- Un SaaS met accidentellement /docs en Disallow pour tous les bots. Perplexity cite un miroir scrapé sur un domaine aléatoire. Corrigez le fichier.
Termes associés
OpenAI exploite plusieurs bots : GPTBot pour l'entraînement, OAI-SearchBot pour ChatGPT Search, et ChatGPT-User pour les récupérations déclenchées par l'utilisateur.
Bots des laboratoires de modèles et des moteurs de réponse qui récupèrent des pages pour l'entraînement, la récupération ou la lecture initiée par l'utilisateur.
llms.txt est un fichier Markdown à la racine du site qui indique aux crawlers IA ce que le site est et quelles pages lire en premier. Ce n'est pas un second robots.txt avec une portée juridique.
Directives de type robots.txt proposées pour l'utilisation du contenu crawlé : recherche vs entrée IA vs entraînement.
Vérifier qu'une requête se faisant passer pour GPTBot l'est réellement, via des plages d'IP publiées ou des requêtes signées.
FAQ
robots.txt contrôle-t-il les droits d'entraînement sur le plan légal ? +
C'est un signal technique, pas un contrat. Les avocats débattent encore du reste. Pour les opérations GEO, supposez que les bots majeurs l'obéissent et planifiez en conséquence.
Devrais-je bloquer tous les bots IA ? +
Seulement si vous voulez vraiment quitter ce canal. Il n'existe pas de bouton secret « bloquer l'entraînement, garder les citations » qui fonctionne partout.
Suivre cela dans Reddex
Threads Reddit et réponses IA pour votre marque au même endroit. Commencez par une analyse gratuite.
Commencer