Extracción de datos de un sitio web y cálculo con PHP

zarakatajamember · 28 Jul 2021

Buenas, quería saber si es posible extraer datos de un sitio web.
Lo que necesito es ver un indicador que emite un sitio web, y a raíz de eso. hacer un calculo en mi web con php.
El problema es que cada día emite un valor distinto, por eso me gustaría que busque el dato en esa web y haga el calculo.

devseo · 29 Jul 2021

Si es posible, puedes extraer datos (scrapear) los datos de cualquier web. Puedes hacerlo de dos maneras, obtener en tiempo real el dato y hacer el cálculo en tu web u obtener el dato y almacenarlo. Te recomiendo la segunda ya que así separas la extracción del cálculo, evitando además ralentizar tu web con el proceso de extracción.

Para realizar el scraping hay multitud de opciones, desde utilizar curl con PHP hasta usar algún framework específico de scraping como Scrapy.

Te dejo un par de opciones donde ampliar información:

zarakatajamember · 29 Jul 2021

buenisimo, voy a darle lectura

kanikase · 29 Jul 2021

devseo dijo:
Si es posible, puedes extraer datos (scrapear) los datos de cualquier web. Puedes hacerlo de dos maneras, obtener en tiempo real el dato y hacer el cálculo en tu web u obtener el dato y almacenarlo. Te recomiendo la segunda ya que así separas la extracción del cálculo, evitando además ralentizar tu web con el proceso de extracción.

Para realizar el scraping hay multitud de opciones, desde utilizar curl con PHP hasta usar algún framework específico de scraping como Scrapy.

Te dejo un par de opciones donde ampliar información:

https://devcode.la/tutoriales/hacer-web-scraping-con-php/

https://scrapy.org/

A tu comentario agregaría que para automatizarlo, hay que usar los cron jobs.

jmdoren · 31 Jul 2021

zarakatajamember dijo:
Buenas, quería saber si es posible extraer datos de un sitio web.
Lo que necesito es ver un indicador que emite un sitio web, y a raíz de eso. hacer un calculo en mi web con php.
El problema es que cada día emite un valor distinto, por eso me gustaría que busque el dato en esa web y haga el calculo.

investiga si la página tiene rss (muchos blogs wordpress lo tienen activo), eso porque tu script puede fallar si ellos cambian el diseño.
de todas formas por experiencia incluye en tu desarrollo una alerta por mail si falla, así sabrás si a web cambió.

Jamón y melón · 16 Sep 2021

Claro que sí, y puedes extraer datos y ponerlos en Excel para que los datos estén estructurados.
Aquí hay 4 Formas de Extraer Datos del Sitio Web a Excel:

1. Obtener datos web utilizando Excel Web Queries

2. Obtener datos de la web usando Excel VBA

3. Utilizar herramientas de web scraping automatizadas

4. Subcontratar tu proyecto de web scraping

Si te interesa, podrías ver este artículuo: 4 Formas de Extraer Datos del Sitio Web a Excel

Extracción de datos de un sitio web y cálculo con PHP

zarakatajamember

devseo

zarakatajamember

kanikase

jmdoren

Jamón y melón

Temas similares