¿Qué significa "Blocked by robots.txt" en Ahrefs?

Javier · 15 Abr 2022

Buenas betas!

Veo que Ahrefs me muestra 61 enlaces "bloqueados" por robots.txt y son muchos artículos míos, que incluso en varios tengo visitas desde Google.

Por lo tanto, no sé a qué se refiere eso, ¿alguien me podría orientar?

Gracias!

adri03 · 15 Abr 2022

Me parece que significa que en tu archivo robots.txt, tienes esos links como no-follow (el crawler de google no puede rastrear/indexar esos links), tienes que cambiarlos a follow

Darkfrost · 15 Abr 2022

Significa que la lista que enviaste a analizar que posiblemente sea un Sitemap, se encuentra a su vez bloqueado por el archivo robots.txt, es como un autogol XD, debes revisar bien que estas dando Disallow

Pedro Sierra · 15 Abr 2022

Envía el contenido de tu robots.txt para poderte ayudar 😉

Aunque parecen simplemente enlaces nofollow de tus redes sociales o alguna otra web que hayas enlazado.

Javier · 16 Abr 2022

Unos colegas me han comentado esto...no sé qué piensan

Son enlaces externos, es algo que no te afecta a ti. Lo que está bloqueado es el rastreo de esos enlaces hacia webs que el bot de Ahrefs no puede acceder. El robots.txt de instagram.com y odoo.com impiden el acceso.

Si te fijas es el destino (target) lo que está bloqueado, no la página desde donde sale el enlace (source). Nada que ver contigo.

Una cosa que sí sería preocupante sería que tu web tuviese un enlace interno roto. Es decir, que apuntes mediante un enlace a otra página de tu propia web y recibas un código de error 404 o 503 (por poner algún ejemplo). Si te fijas, el código que te sale a ti es 200 que quiere decir que las páginas existen y son devueltas sin problemas (aunque el bot no pueda acceder a ellas).

También sería una lástima que algún enlace externo apuntase a una URL que no existe. Es algo que es recomendable solucionar.

¿Qué significa "Blocked by robots.txt" en Ahrefs?

Javier

adri03

Darkfrost

Pedro Sierra

Javier

Temas similares