robots.txt
robots.txt es el archivo de permisos de obtención en la raíz del sitio. Los rastreadores de IA también lo leen. Si lo configuras mal, desapareces del entrenamiento, de la búsqueda o de ambos.
Allow y Disallow siguen siendo el idioma. Los grupos de User-agent ahora incluyen GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Bytespider y quien salga la semana que viene.
Bloquear bots de entrenamiento mientras permites bots de búsqueda es una decisión de política. Bloquear todo y preguntarte por qué ChatGPT Search nunca te cita es un error propio.
robots.txt no es autenticación. Los scrapers astutos lo ignoran. Los crawlers reales de los grandes laboratorios suelen respetarlo porque quieren seguir siendo bienvenidos.
Ejemplos
- Un editor Disallows GPTBot y aún así aparece en Google. La memoria de ChatGPT sobre ellos envejece como la leche. Es lo esperado.
- Un SaaS accidentalmente Disallows /docs para todos los bots. Perplexity cita un espejo raspado en un dominio aleatorio. Corrige el archivo.
Términos relacionados
Bots de laboratorios de modelos y motores de respuestas que obtienen páginas para entrenamiento, recuperación o lectura iniciada por el usuario.
llms.txt es un archivo Markdown en la raíz del sitio que le dice a los rastreadores de IA qué es el sitio y qué páginas leer primero. No es un segundo robots.txt con dientes legales.
OpenAI opera varios bots: GPTBot para entrenamiento, OAI-SearchBot para ChatGPT Search y ChatGPT-User para recuperaciones activadas por el usuario.
Directivas propuestas estilo robots.txt sobre cómo puede usarse el contenido rastreado: búsqueda vs entrada de IA vs entrenamiento.
Comprobar que una solicitud que afirma ser GPTBot realmente lo es, mediante rangos de IP publicados o solicitudes firmadas.
FAQ
¿robots.txt controla legalmente los derechos de entrenamiento? +
Es una señal técnica, no un contrato. Los abogados siguen debatiendo el resto. Para operaciones de GEO, asume que los bots principales lo obedecen y planifica en consecuencia.
¿Debo bloquear todos los bots de IA? +
Solo si pretendes abandonar el canal. No existe un interruptor secreto de “bloquear entrenamiento, mantener citas” que funcione en todas partes.
Síguelo en Reddex
Hilos de Reddit y respuestas de IA sobre tu marca en un solo lugar. Empieza con un análisis gratis.
Empezar