El fichero robots.txt

Blog Visto: 1005

El fichero robots.txt le dice a los motores de búsqueda qué elementos de nuestro sitio pueden indexar.

Comprobar Robots.txt

Directivas Allow y Disallow

Usar Wildcards

Cosas a evitar

  • Disallow images, templates
  • Disallow modules, plugins

Evitar directivas contradictorias

Bloqueos especĂ­ficos

User-agent: *
Disallow: /cyberworld/map/ # This is an infinite virtual URL space

# Cybermapper knows where to go.
User-agent: cybermapper
Disallow:
# go away
User-agent: *
Disallow: /

Fin de URL $

Disallow: *.php$

Grupos de directivvas por robot