Es un fichero de texto en la raíz de un sitio (/robots.txt) que indica a los rastreadores (Googlebot, Bingbot...) qué rutas pueden o no pueden visitar, mediante directivas Allow y Disallow agrupadas por user-agent. No es un mecanismo de seguridad (cualquiera puede leerlo), sino una convención que los rastreadores respetan voluntariamente.

Cómo usar esta herramienta

Introduce el dominio a analizar.
Pulsa Analizar: se descarga y parsea su robots.txt.
Comprueba especialmente que Googlebot no esté bloqueado por error en la sección "*" o su propia entrada.

Preguntas frecuentes

¿Bloquear una ruta en robots.txt la oculta de Google?

No necesariamente: Google puede seguir indexando la URL (sin rastrear su contenido) si otras páginas enlazan a ella. Para ocultar de verdad una página del índice se usa la etiqueta meta noindex.

¿Por qué mi web no aparece en Google si robots.txt está bien?

robots.txt solo controla el rastreo, no garantiza indexación. Revisa también Search Console, la etiqueta noindex y el propio sitemap.xml.

¿Es obligatorio tener robots.txt?

No, si no existe los rastreadores asumen que pueden acceder a todo el sitio sin restricciones.