Buscar en un sitio sin respetar robots.txt pero sin usar scraper

  • Autor Autor iagovar
  • Fecha de inicio Fecha de inicio
iagovar

iagovar

Gamma
Verificación en dos pasos activada
A ver si alguien sabe cómo resolver esto. Necesito una web o programa que me permita buscar dentro de una web, sin tener que meter un scraper. Evidentemente los buscadores normales como google etc no valen, porque tienen lo que me interesa capado en el robots.txt
 

Temas similares

wizardpro
Respuestas
15
Visitas
3K
Brandon Díaz
Brandon Díaz
Atrás
Arriba