Crawlers web de IA
Bots de laboratorios de modelos y motores de respuestas que obtienen páginas para entrenamiento, recuperación o lectura iniciada por el usuario.
Nómbralos en los logs. Configúralos en robots.txt uno por uno. «AI bot» no es un user-agent.
El ancho de banda puede afectar. Limitar la velocidad para scrapers y usar listas de permitidos para laboratorios es una operación normal.
Ejemplos
- ClaudeBot obtiene /docs cada noche. Bytespider obtiene todo dos veces. Se permiten respuestas diferentes.
Términos relacionados
Los bots de entrenamiento construyen pesos. Los bots de búsqueda/cita obtienen para una respuesta ahora. Los bots activados por el usuario obtienen porque un humano preguntó.
OpenAI opera varios bots: GPTBot para entrenamiento, OAI-SearchBot para ChatGPT Search y ChatGPT-User para recuperaciones activadas por el usuario.
robots.txt es el archivo de permisos de obtención en la raíz del sitio. Los rastreadores de IA también lo leen. Si lo configuras mal, desapareces del entrenamiento, de la búsqueda o de ambos.
FAQ
¿Son el 95% del tráfico de rastreo? +
En algunos sitios, los bots de IA dominan. Mide el tuyo. No cites el gráfico de pastel de otro como si fuera el tuyo.
Síguelo en Reddex
Hilos de Reddit y respuestas de IA sobre tu marca en un solo lugar. Empieza con un análisis gratis.
Empezar