Scrapping con screaming frog o herramienta similar

Hola,

Estoy sacando una data de una web que requiere login para ver su contenido. He intentando usar screaming frog (versión de paga) con la autenticación pero no genera data. Creería que la web en cuestión está bloqueando la conexión por screaming frog.



¿Alguna sugerencia de herramienta que me permita extraer un campo en específico a partir de una lista de URLs?

Actualización:

Estuve revisando y la página no genera el HTML cuando le doy a "inspeccionar"

Gracias

scheval dijo:

Hola,

Estoy sacando una data de una web que requiere login para ver su contenido. He intentando usar screaming frog (versión de paga) con la autenticación pero no genera data. Creería que la web en cuestión está bloqueando la conexión por screaming frog.

Ver el archivo adjunto 985454

¿Alguna sugerencia de herramienta que me permita extraer un campo en específico a partir de una lista de URLs?

Actualización:

Estuve revisando y la página no genera el HTML cuando le doy a "inspeccionar"

Gracias

Hacer clic para expandir...

Hola,

Es posible que la página que estás intentando raspar esté bloqueando el acceso desde herramientas de web scraping como Screaming Frog. Una opción es intentar con otra herramienta como ParseHub, que puede ser capaz de saltar los bloqueos de los sitios web y obtener la información que necesitas.

También te sugiero que revises si existe alguna API que ofrezca acceso a los datos que necesitas desde la página que estás tratando de raspar. Si la página web cuenta con una API, será mucho más fácil obtener la información sin necesidad de utilizar técnicas de scraping.

Si la página no genera el HTML cuando le das a "inspeccionar", puede ser que la información que necesitas se genere de manera dinámica a través de JavaScript. En este caso, una opción es utilizar herramientas de automatización de navegador como Selenium o Puppeteer, para simular una interacción como lo haría un usuario y obtener la información que necesitas.

Espero que estas sugerencias te sean de ayuda. Saludos.