¿Es conveniente agregar robots.txt en WordPress?

Estaba leyendo un post y recomendaba agregar este en en root de wordpress...

haz un archivo de texto e inserta las siguientes líneas:

PHP:

Sitemap: /sitemap.xml

User-agent: *
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php

luego renombrarlo a robots.txt y pegarlo en el root del sitio.

Hacer clic para expandir...

es conveniente tener un robots.txt en cada sitio?

de que sirve?

gracias.

podrás encontrar mucha información en internet sobre los robots, a modo resumen, sirve para prohibir o mas bien decirle a los buscadores a que cosas no quieres que acceda. por ejemplo, el duplicar contenido en una web puede ser penalizado y desde el robots puedes decirle a google que no acceda, pero tus usuarios si querrán acceder. es una manera de darle entrada a tus visitas pero sin que Google lo tome en cuenta, sea cual sea el motivo por el cual no te convenga que lo indexe. instalando cualquier plugin de seguridad, ya te lo genera y no tienes de que preocuparte pero si es aconsejable tener el archivo robots . busca sobre el tema porque haces una pregunta muy amplia que dá para mucho. Saludos...