Vérification des crawlers IA
Vérifier qu'une requête se faisant passer pour GPTBot l'est réellement, via des plages d'IP publiées ou des requêtes signées.
Les User-Agent falsifiés existent. Limitez le débit des « GPTBot » inconnus provenant d'IP grand public. Ne bloquez pas par erreur les plages réelles.
Web Bot Auth est l'approche à plus long terme.
Exemples
- Un scraper utilise le User-Agent GPTBot depuis une VM cloud non listée par OpenAI. Vous renvoyez une erreur 403. Bien joué.
Termes associés
Une idée IETF pour que les crawlers signent cryptographiquement leurs requêtes afin de pouvoir faire confiance à leur identité.
Bots des laboratoires de modèles et des moteurs de réponse qui récupèrent des pages pour l'entraînement, la récupération ou la lecture initiée par l'utilisateur.
robots.txt est le fichier de permissions de récupération à la racine du site. Les crawlers IA le lisent également. Une mauvaise configuration vous fait disparaître de l'entraînement, de la recherche, ou des deux.
FAQ
Où trouver les listes d'IP ? +
Les éditeurs les publient. Elles changent. Automatisez la récupération ; ne collez pas un gist de 2024 pour toujours.
Suivre cela dans Reddex
Threads Reddit et réponses IA pour votre marque au même endroit. Commencez par une analyse gratuite.
Commencer