Authentification des bots web
Une idée IETF pour que les crawlers signent cryptographiquement leurs requêtes afin de pouvoir faire confiance à leur identité.
Mieux que les chaînes UA. L'adoption prendra du temps. En attendant, utilisez les listes d'IP.
Quand ce sera largement disponible, utilisez-le. N'inventez pas votre propre poignée de main cryptographique pour GPTBot.
Exemples
- Un CDN prend en charge les bots signés. Vous cessez de bloquer un laboratoire parce qu'un scrapleur a volé leur UA l'année dernière.
Termes associés
Bots des laboratoires de modèles et des moteurs de réponse qui récupèrent des pages pour l'entraînement, la récupération ou la lecture initiée par l'utilisateur.
robots.txt est le fichier de permissions de récupération à la racine du site. Les crawlers IA le lisent également. Une mauvaise configuration vous fait disparaître de l'entraînement, de la recherche, ou des deux.
Vérifier qu'une requête se faisant passer pour GPTBot l'est réellement, via des plages d'IP publiées ou des requêtes signées.
FAQ
Disponible aujourd'hui ? +
Surveillez la documentation des fournisseurs. N'attendez pas pour configurer correctement robots.txt en attendant.
Suivre cela dans Reddex
Threads Reddit et réponses IA pour votre marque au même endroit. Commencez par une analyse gratuite.
Commencer