Crawlers OpenAI
OpenAI exploite plusieurs bots : GPTBot pour l'entraînement, OAI-SearchBot pour ChatGPT Search, et ChatGPT-User pour les récupérations déclenchées par l'utilisateur.
Lisez le user-agent. Autoriser ou bloquer « OpenAI » en bloc est la façon dont les gens cassent Search en essayant de se désengager de l'entraînement.
Vérifiez les IP quand c'est possible. Le spoofing de UA est une réalité. Voir vérification des crawlers.
Exemples
- Les logs montrent ChatGPT-User qui accède à /pricing pendant une démo. C'est un humain dans la boucle, pas une extraction pour l'entraînement.
Termes associés
ChatGPT Search est la récupération web en direct d'OpenAI au sein de ChatGPT. C'est une bête différente de « ce que GPT se souvient de vous ».
Les bots d'entraînement construisent les poids. Les bots de recherche/citation récupèrent pour une réponse immédiate. Les bots déclenchés par l'utilisateur récupèrent parce qu'un humain a demandé.
Bots des laboratoires de modèles et des moteurs de réponse qui récupèrent des pages pour l'entraînement, la récupération ou la lecture initiée par l'utilisateur.
robots.txt est le fichier de permissions de récupération à la racine du site. Les crawlers IA le lisent également. Une mauvaise configuration vous fait disparaître de l'entraînement, de la recherche, ou des deux.
FAQ
Quel bot dois-je autoriser pour le GEO ? +
Si vous voulez des citations dans ChatGPT Search, autorisez le bot de recherche. L'entraînement est une décision politique distincte, avec des angles juridiques et concurrentiels.
Suivre cela dans Reddex
Threads Reddit et réponses IA pour votre marque au même endroit. Commencez par une analyse gratuite.
Commencer