Verificación de rastreadores de IA
Comprobar que una solicitud que afirma ser GPTBot realmente lo es, mediante rangos de IP publicados o solicitudes firmadas.
Existen UAs falsificadas. Limita la velocidad de los “GPTBot” desconocidos desde IPs de consumo. No bloques por accidente los rangos reales.
Web Bot Auth es la idea a largo plazo.
Ejemplos
- Un scraper usa User-Agent GPTBot desde una VM en la nube que no está en la lista de OpenAI. Le devuelves un 403. Bien hecho.
Términos relacionados
Una idea de IETF para que los rastreadores firmen criptográficamente las solicitudes para que puedas confiar en quiénes son.
Bots de laboratorios de modelos y motores de respuestas que obtienen páginas para entrenamiento, recuperación o lectura iniciada por el usuario.
robots.txt es el archivo de permisos de obtención en la raíz del sitio. Los rastreadores de IA también lo leen. Si lo configuras mal, desapareces del entrenamiento, de la búsqueda o de ambos.
FAQ
¿Dónde están las listas de IPs? +
Los proveedores las publican. Cambian. Automatiza la obtención; no pegues un gist de 2024 para siempre.
Síguelo en Reddex
Hilos de Reddit y respuestas de IA sobre tu marca en un solo lugar. Empieza con un análisis gratis.
Empezar