Inicio / Crear robots.txt

Cómo crear un robots.txt para SEO

Controla el rastreo de buscadores sin bloquear páginas importantes por error.

Qué es robots.txt y para qué sirve

robots.txt es un archivo de texto que debe estar en la raíz del dominio, por ejemplo https://seotool-kit.com/robots.txt. Indica a los rastreadores qué rutas pueden solicitar y cuáles prefieres que no exploren.

No es un sistema de seguridad ni elimina una URL del índice por sí solo. Para ocultar contenido privado necesitas autenticación; para evitar indexación debes usar noindex cuando corresponda.

Cómo crear un robots.txt paso a paso

  1. Define qué partes públicas quieres que rastreen los buscadores.
  2. Bloquea solo zonas técnicas, privadas o irrelevantes para el rastreo.
  3. Añade la URL absoluta de tu sitemap XML.
  4. Guarda el archivo con el nombre exacto robots.txt y súbelo a la raíz.
  5. Comprueba que responde con código 200 y revisa las reglas antes de publicar.

Ejemplo básico

User-agent: *
Allow: /

Sitemap: https://seotool-kit.com/sitemap.xml

Reglas habituales

  • User-agent: * aplica la regla a todos los rastreadores.
  • Disallow: /admin/ evita rastrear una carpeta concreta.
  • Allow: /admin/publico/ permite una excepción dentro de una ruta bloqueada.
  • Sitemap: ayuda a descubrir las URLs importantes del sitio.

Errores que debes evitar

  • Bloquear todo el sitio sin querer con Disallow: /.
  • Bloquear recursos necesarios para renderizar la página.
  • Usarlo para ocultar información privada.
  • No enlazar el sitemap cuando ya existe.

Después de publicarlo, prueba varias URLs importantes y revisa el informe de rastreo en Search Console. Un robots.txt demasiado restrictivo puede impedir que Google descubra o renderice recursos necesarios.

Crear robots.txt