automatizar procesos con scraping

[EMM]

Hola a todos.

Estoy buscando alguna aplicación que me permita automatizar un proceso que requiere de webscrapping.

Se trata de extraer ciertos valores de una pagina web (fecha, url de imagen y titulo) para insertarlos en el "esqueleto" de un fichero .txt cuyo contenido es:

<script type="application/ld+json"> { "@context": "[URL='https://schema.org/']https://schema.org[/URL]", "@type": "NewsArticle", "headline": "AQUI EL TITULO DE LA PAGINA WEB", "image": [ "[URL='https://AQUI LA URL DE LA IMAGEN.png[/URL]" ], "datePublished": "AQUI LA FECHA", "dateModified": "AQUI LA FECHA" } </script>

Mi idea es poder realizar todo el proceso con un solo click.

Alguna sugerencia para realizar esta automatización?

Gracias.

 

[cholemon]

Haz scrap y le aplicas expresiones regulares para poder extraer lo que necesitas.

 

[Henry00jj95]

Hola a todos.

Estoy buscando alguna aplicación que me permita automatizar un proceso que requiere de webscrapping.

Se trata de extraer ciertos valores de una pagina web (fecha, url de imagen y titulo) para insertarlos en el "esqueleto" de un fichero .txt cuyo contenido es:

<script type="application/ld+json"> { "@context": "[URL='https://schema.org/']https://schema.org[/URL]", "@type": "NewsArticle", "headline": "AQUI EL TITULO DE LA PAGINA WEB", "image": [ "[URL='https://AQUI LA URL DE LA IMAGEN.png[/URL]" ], "datePublished": "AQUI LA FECHA", "dateModified": "AQUI LA FECHA" } </script>

Mi idea es poder realizar todo el proceso con un solo click.

Alguna sugerencia para realizar esta automatización?

Gracias.

Si sabes algo de PHP te recomiendo usar curl más expresiones regulares como preg_match o preg_match_all para sacar dicho contenido.

 

[Demiax]

Buenas, si conoces Python puedes realizarlo con él y BeautifulSoup.
Saludos

 

[mchojrin]

Aquí tienes un ejemplo que utiliza simples expresiones regulares pero lo que yo te recomiendo es que utilices la librería DomCrawler de Symfony.

 

[EMM]

Muchas gracias!!