Vocês colocam seu sitemap no robots.txt?

thomas74 · 05/02/2020

Hola.

Acabo de leer en este post (https://moz.com/blog/index-rank-new-content-faster) que es conveniente poner tu sitemap como primera línea del 'robots.txt'.

¿Qué opináis? ¿Os gusta que quede de manera pública vuestro fichero sitemap?

Gracias! 🙂

alexxeg · 06/02/2020

Yo no lo hago y me indexa bien varios sitios que tengo en wordpress, solo añado el sitemap en search console y me tiene indexado al 100%

AltaDigitalWeb · 09/02/2020

Mi sitemap lo coloco en robots, no tengo problemas.

SantosJaimes · 10/02/2020

thomas74 disse:
Hola.

Acabo de leer en este post (https://moz.com/blog/index-rank-new-content-faster) que es conveniente poner tu sitemap como primera línea del 'robots.txt'.

¿Qué opináis? ¿Os gusta que quede de manera pública vuestro fichero sitemap?

Gracias! 🙂

No tiene porque ser publico tu robots.txt.

Coloca las directivas de abajo en tu .htaccess y a los usuarios que intenten ver tu robots.txt les saldra un "forbidden" mientras que los UAs listados en el RewriteCond (que son todos bots reales) podran accesar tu robots.txt.

Claro que si algun visitante astuto decide usar un addon de Firefox para modificar su UA y navegar como Googlebot podria ver tu robots.txt y entonces para mejor protecccion tendrias que dar acceso a robots.txt solo por IP y para eso tendrias que bajarte los IPs de los bots mas importantes.

Inserir CODE, HTML ou PHP:

<Files "robots.txt">
RewriteCond %{HTTP_USER_AGENT} !.*google.*|.*yahoo.*|.*slurp.*|.*bing.*|.*msn.*|.*duck.*|.*microsoft.*|.*facebook.*|.*ia\_archiver.*|.*archive\.org\_bot.*|.*yandex.*|.*baidu.*|.*sogou.* [NC]
RewriteRule ^.* - [F,L]
</Files>

Vocês colocam seu sitemap no robots.txt?

thomas74

alexxeg

AltaDigitalWeb

SantosJaimes

Tópicos similares