El fichero robots.txt le dice a los motores de bĂșsqueda quĂ© elementos de nuestro sitio pueden indexar.
Comprobar Robots.txt
Directivas Allow y Disallow
Usar Wildcards
Cosas a evitar
- Disallow images, templates
- Disallow modules, plugins
Evitar directivas contradictorias
Bloqueos especĂficos
User-agent: *
Disallow: /cyberworld/map/ # This is an infinite virtual URL space
# Cybermapper knows where to go.
User-agent: cybermapper
Disallow:
# go away
User-agent: *
Disallow: /