Autenticación de bots web
Una idea de IETF para que los rastreadores firmen criptográficamente las solicitudes para que puedas confiar en quiénes son.
Mejor que las cadenas de User-Agent. La adopción llevará tiempo. Mientras tanto, listas de IPs.
Cuando se implemente ampliamente, úsalo. No inventes tu propio protocolo criptográfico para GPTBot.
Ejemplos
- Un CDN soporta bots firmados. Dejas de bloquear a un laboratorio porque un scraper robó su User-Agent el año pasado.
Términos relacionados
Bots de laboratorios de modelos y motores de respuestas que obtienen páginas para entrenamiento, recuperación o lectura iniciada por el usuario.
robots.txt es el archivo de permisos de obtención en la raíz del sitio. Los rastreadores de IA también lo leen. Si lo configuras mal, desapareces del entrenamiento, de la búsqueda o de ambos.
Comprobar que una solicitud que afirma ser GPTBot realmente lo es, mediante rangos de IP publicados o solicitudes firmadas.
FAQ
¿Está disponible hoy? +
Revisa la documentación de los proveedores. No esperes a configurar correctamente robots.txt mientras tanto.
Síguelo en Reddex
Hilos de Reddit y respuestas de IA sobre tu marca en un solo lugar. Empieza con un análisis gratis.
Empezar