El fichero robots.txt

Blog Visto: 655

El fichero robots.txt le dice a los motores de bĂșsqueda quĂ© elementos de nuestro sitio pueden indexar.

Comprobar Robots.txt

Directivas Allow y Disallow

Usar Wildcards

Cosas a evitar

Evitar directivas contradictorias

Bloqueos especĂ­ficos

User-agent: *
Disallow: /cyberworld/map/ # This is an infinite virtual URL space

# Cybermapper knows where to go.
User-agent: cybermapper
Disallow:
# go away
User-agent: *
Disallow: /

Fin de URL $

Disallow: *.php$

Grupos de directivvas por robot