Como buscar links de páginas que bloquearam robots de moz e hrefs?

templaries · 23/04/2015

Pues eso.

Si alguien ha bloqueado esos robots, ¿como es posible saber los enlaces o al menos algunos de ellos?

ciberutilidades · 23/04/2015

Sinceramente ojala no exista 🙂

templaries · 23/04/2015

Vaya tela, vaya tela.

enmalaga · 23/04/2015

Creo que habría que buscar por los robots.txt en las líneas disallow.

templaries · 23/04/2015

enmalaga disse:
Creo que habría que buscar por los robots.txt en las líneas disallow.

Nada.

Hago: filetype:txt disallow "nombre de la web"

Y solo sale la web.

Había pensado que si tengo la cuenta de web master tools, me van a salir los enlaces. Ahí creo que vendrían claro.

templaries · 26/04/2015

He conseguido tener acceso a la web y le he puesto un web master tools con mi cuenta de gmail.

He ido a los enlaces hacia el sitio y salen muy pocos.

Esto sí que no lo entiendo, aquí deberían de salir los enlaces reales y salen cuatro.

rollingstone · 27/04/2015

había una web que tenía los footprints si se había hecho por robots.txt, pero ahora no me acuerdo de cual.

root25 · 27/04/2015

mmm eso te vendria bien ahora pero despues no, porq no te gustaria que vean tus enlaces. me fui :fatigue:

Como buscar links de páginas que bloquearam robots de moz e hrefs?

templaries

ciberutilidades

templaries

enmalaga

templaries

templaries

rollingstone

root25

Tópicos similares