Archivo público en la raíz del dominio que indica a los crawlers qué pueden y no pueden rastrear. No bloquea indexación — usá noindex meta para eso.
Cómo funciona
El archivo robots.txt funciona como el primer protocolo de lectura que los rastreadores web consultan al acceder a un dominio, interpretando directivas estandarizadas para restringir o permitir el acceso a rutas específicas. Los motores de búsqueda buscan este documento de texto plano en la raíz del servidor y leen sus instrucciones secuenciales, las cuales definen qué agentes de usuario tienen prohibido o habilitado el ingreso a ciertos directorios. Además de estas reglas de exclusión, el archivo suele incluir la ubicación del Sitemap XML para facilitar el descubrimiento de las páginas prioritarias desde el inicio del proceso de exploración.
Por qué importa para el ranking
Este archivo influye indirectamente en el posicionamiento web al optimizar la distribución del Crawl budget hacia las páginas que aportan valor estratégico. Al bloquear el rastreo de secciones irrelevantes o duplicadas, se evita el desperdicio de recursos de los motores de búsqueda en zonas sin valor de conversión o contenido duplicado. Esto garantiza que el tiempo de exploración se concentre en el contenido optimizado, acelerando la detección de actualizaciones y la indexación de páginas clave para la visibilidad en los resultados de búsqueda.
Ejemplo aplicado
Un ejemplo concreto de su aplicación ocurre en una tienda en línea que utiliza este archivo para impedir que los rastreadores accedan a las páginas de carrito de compras y resultados
La correcta configuración del archivo robots.txt se analiza minuciosamente durante un diagnóstico de SEO semántico para garantizar que los motores de búsqueda rastreen de manera eficiente solo el contenido que aporta valor estratégico.
Términos relacionados
Hreflang · Sitemap XML · Crawl budget. Ver también: índice completo del glosario.
Aprendé a aplicar esto en la práctica en el la capacitación en autoridad tópica.
Guías relacionadas
Guía definitiva de SEO Semántico · Topical Authority framework