¿Qué significa que los robots restrinjan?

*+LcP+* · 1 Mar 2011

Estaba mirando webmaster tools de google y veo que en errores de rastreo de sitemaps hay urls/páginas restringidas por robots.txt ¿Esto qué significa?

diacetilmorfina · 1 Mar 2011

Por lo general son lar urls que restringe el buscador, si miras alli te daras cuentas que esas url's corresponden básicamente a las etiquetas de tu blog.

kaostech · 1 Mar 2011

abre el archivo robots.txt de la raiz de tu web, y todas las filas con "Disallow: " son paths o paginas restringidas.

Por ejemplo en wordpress:

Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /author
.....

¿Qué significa que los robots restrinjan?

*+LcP+*

diacetilmorfina

kaostech

Temas similares

+LcP+