¿Vosotros ponéis vuestro sitemap en robots.txt?

Hola.

Acabo de leer en este post (https://moz.com/blog/index-rank-new-content-faster) que es conveniente poner tu sitemap como primera línea del 'robots.txt'.

¿Qué opináis? ¿Os gusta que quede de manera pública vuestro fichero sitemap?

Gracias! 🙂

Yo no lo hago y me indexa bien varios sitios que tengo en wordpress, solo añado el sitemap en search console y me tiene indexado al 100%

Mi sitemap lo coloco en robots, no tengo problemas.

thomas74 dijo:

Hola.

Acabo de leer en este post (https://moz.com/blog/index-rank-new-content-faster) que es conveniente poner tu sitemap como primera línea del 'robots.txt'.

¿Qué opináis? ¿Os gusta que quede de manera pública vuestro fichero sitemap?

Gracias! 🙂

Hacer clic para expandir...

No tiene porque ser publico tu robots.txt.

Coloca las directivas de abajo en tu .htaccess y a los usuarios que intenten ver tu robots.txt les saldra un "forbidden" mientras que los UAs listados en el RewriteCond (que son todos bots reales) podran accesar tu robots.txt.

Claro que si algun visitante astuto decide usar un addon de Firefox para modificar su UA y navegar como Googlebot podria ver tu robots.txt y entonces para mejor protecccion tendrias que dar acceso a robots.txt solo por IP y para eso tendrias que bajarte los IPs de los bots mas importantes.