Rastreo e indexación
Descubrir, recuperar, almacenar. Google lo hace. Los laboratorios de IA lo hacen con otros bots y reglas. Necesitas ambos si quieres ambos canales.
La indexación en GSC no es lo mismo que estar presente en un índice de IA. Revisa los logs.
llms.txt no reemplaza a un sitemap.
Ejemplos
- Bloqueado por accidente en robots para un nuevo user-agent. Seis semanas de «por qué no nos citan».
Términos relacionados
Cómo los sistemas de IA almacenan páginas para su recuperación posterior. No es idéntico al índice de Google. Diferentes bots, diferente frescura, diferentes filtros de basura.
Una lista de URLs que deseas que se obtengan. Sigue siendo útil. Los bots de IA pueden usarlos o no. No pueden corregir Disallow.
robots.txt es el archivo de permisos de obtención en la raíz del sitio. Los rastreadores de IA también lo leen. Si lo configuras mal, desapareces del entrenamiento, de la búsqueda o de ambos.
FAQ
¿Cómo solicitar la indexación a OpenAI? +
Prácticamente no puedes. Asegúrate de tener enlaces, ser accesible y tener paciencia. Para Google, usa Search Console como siempre.
Síguelo en Reddex
Hilos de Reddit y respuestas de IA sobre tu marca en un solo lugar. Empieza con un análisis gratis.
Empezar