Una duda sobre el scraping

alfbueno · 4 Oct 2017

Hola, a ver si me podéis ayudar, estoy haciendo por curiosidad unas pruebas de scraping con un par de webs mias, ya sea usando CURL u otra librería.

El tema es que las webs se actualizan diariamente... ¿Cómo puedo controlar que solo mire lo que no tengo? Es que no tengo ni idea de como plantearlo.

Gracias!

AndresFer · 4 Oct 2017

hola , cual es el link de tu sitio?

aperpen · 5 Oct 2017

Depende mucho de como sea el sitio a scrapear y de la información que quieres scrapear, si simplemente tiene fechas que puedes comprobar, si tienes que llevar una bd con todo lo extraído, sin con guardar el último objeto scrapeado te llega etc.

susej145 · 7 Oct 2017

alfbueno dijo:
Hola, a ver si me podéis ayudar, estoy haciendo por curiosidad unas pruebas de scraping con un par de webs mias, ya sea usando CURL u otra librería.

El tema es que las webs se actualizan diariamente... ¿Cómo puedo controlar que solo mire lo que no tengo? Es que no tengo ni idea de como plantearlo.

Gracias!

Crea una base de datos con el contenido ya extraido.

Luego compruebas el contenido extraido con el contenido de la base de datos.

Si existe en la base de datos es contenido viejo. Si no es contenido nuevo.

Saludos

Enviado desde mi SM-J106B mediante Tapatalk

Una duda sobre el scraping

alfbueno

AndresFer

aperpen

susej145

Temas similares