¿Qué significa que los robots restrinjan?

Estaba mirando webmaster tools de google y veo que en errores de rastreo de sitemaps hay urls/páginas restringidas por robots.txt ¿Esto qué significa?

Por lo general son lar urls que restringe el buscador, si miras alli te daras cuentas que esas url's corresponden básicamente a las etiquetas de tu blog.

abre el archivo robots.txt de la raiz de tu web, y todas las filas con "Disallow: " son paths o paginas restringidas.

Por ejemplo en wordpress:

Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /author
.....