Señales de contenido (robots)
Directivas propuestas estilo robots.txt sobre cómo puede usarse el contenido rastreado: búsqueda vs entrada de IA vs entrenamiento.
Soporte temprano e irregular. Sigue la pena vigilarlo si tienes un equipo legal o de políticas.
Hasta que la adopción sea real, los user-agents de robots.txt siguen siendo el interruptor práctico.
Ejemplos
- Un editor establece search=yes, train=no. Algunos laboratorios lo respetan, otros no, y otros ni siquiera saben de su existencia.
Términos relacionados
llms.txt es un archivo Markdown en la raíz del sitio que le dice a los rastreadores de IA qué es el sitio y qué páginas leer primero. No es un segundo robots.txt con dientes legales.
Marcadores legales/técnicos que reservan derechos de minería de texto y datos. Con sabor europeo. Soporte parcial de rastreadores.
robots.txt es el archivo de permisos de obtención en la raíz del sitio. Los rastreadores de IA también lo leen. Si lo configuras mal, desapareces del entrenamiento, de la búsqueda o de ambos.
FAQ
¿Reemplaza a robots.txt? +
No. Es complementario, si acaso. Mantén el archivo antiguo correcto.
Síguelo en Reddex
Hilos de Reddit y respuestas de IA sobre tu marca en un solo lugar. Empieza con un análisis gratis.
Empezar