Uso do robots.txt no WordPress

Hola betas! Pues bien, tengo un blog en wordpress donde tengo el plugin google sitemap y lo tengo todo indexado, pasa que si me meto en la url/robots.txt me dice lo siguiente:

#Begin Attracta SEO Tools Sitemap. Do not remove
sitemap: http://cdn.attracta.com/sitemap/1821552.xml.gz
#End Attracta SEO Tools Sitemap. Do not remove

Es necesario tener un robots.txt par que google me indexe mejor las paginas, o directamente con el sitemap i indexandolas con la webmastertool de google es suficiente.

Muchas gracias,

Saludos!

El robots te sirve para darle allow al robot / crawler. Tener el robots.txt te ayuda a estar seguro que el bot de google tiene permitido el acceso a ciertos directorios. El sitemap le indica el camino a seguir (las URLS a crawlear)

Es decir, que en realidad siempre hace falta tener un robot.txt, es que yo lo tenia en mi web, y ahora no funciona y como las visitas me bajaron no se si puede ser debido a esto, que opináis ?

Alguna sugerencia ?

hay que actualizar los tips de robots despues de tanto zoologico suelto

El robots.txt no es necesario, solo le ayuda a google y los buscadores a saber que parte de tu contenido puede o no indexar, en caso de no tenerlo entraran como en su casa y se indexa todo lo que encuentren.

De allí que sea preferible tenerlo y poderle decir a estos que no indexen cierta sección o contenido, cabe destacar que existen muchos buscadores y no es una ley este archivo, es a criterio de los buscadores respetar o no lo que dice tu archivo.