Tal y como sugiere el artículo del enlace he mirado el .txt y se encuentra tal y como lo pone Google. Ahora mi pregunta es otra, en el artículo se sugiere utilizar las etiquetas meta y poner:
•<meta name="robots" content="index,follow" />
indica que indexe la página y todos sus enlaces (valor por defecto).
•<meta name="robots" content="index,nofollow" />
indica que indexe la página pero no los enlaces.
•<meta name="robots" content="noindex,follow" />
indica que no indexe la página pero si los enlaces.
•<meta name="robots" content="noindex,nofollow" />
indica que no indexe la página ni los enlaces.
Donde se pondría esto? y no se, pero no es mejor que indexe tanto la página principal como los enlaces? Estoy pensando en no tocar nada y dejarlo como está, pero no se, que opinais?
Gracias