Herramientas Técnicas
50 herramientas para profesionales IT
Ctrl+Enter calcular · Esc limpiar foco
Generador de robots.txt
Crea un fichero robots.txt válido por reglas Allow/Disallow, sin memorizar la sintaxis. Genéralo y compruébalo después con el Analizador de robots.txt.
Disallow (bloquear)
Allow (permitir)
User-agent: * Sitemap: https://vapa.es/sitemap.xml
Qué es robots.txt y para qué sirve
robots.txt es un fichero de texto en la raíz de tu dominio (tudominio.com/robots.txt) que indica a los rastreadores (Googlebot, Bingbot…) qué rutas pueden o no pueden visitar, y dónde encontrar tu sitemap. No es un mecanismo de seguridad — cualquiera puede leerlo, y algunos bots lo ignoran deliberadamente — pero es el estándar que respetan los buscadores legítimos para no rastrear páginas de administración, resultados de búsqueda internos o contenido duplicado.
Cómo usar esta herramienta
- Elige una plantilla rápida o edita las reglas manualmente por user-agent.
- Añade las rutas que quieras bloquear (Disallow) o permitir explícitamente (Allow).
- Copia el resultado o descárgalo, y súbelo a la raíz de tu dominio como
/robots.txt. - Verifícalo con el Analizador de robots.txt de Vapa.
Preguntas frecuentes
¿robots.txt oculta una página de Google?
No necesariamente: bloquea el rastreo, pero si la URL ya está indexada o enlazada desde otro sitio puede seguir apareciendo en resultados sin contenido. Para eso usa la etiqueta noindex.
¿Qué pasa si no tengo robots.txt?
Por defecto los rastreadores asumen que pueden acceder a todo el sitio — equivalente a un robots.txt vacío o con "Allow: /" para todos los agentes.
¿Es obligatorio declarar el sitemap aquí?
No, pero es la forma más directa de que los buscadores lo encuentren sin tener que enviarlo manualmente en Search Console.
Herramientas relacionadas