automatizar processos com scraping

EMM · 23/02/2021

Hola a todos.

Estoy buscando alguna aplicación que me permita automatizar un proceso que requiere de webscrapping.

Se trata de extraer ciertos valores de una pagina web (fecha, url de imagen y titulo) para insertarlos en el "esqueleto" de un fichero .txt cuyo contenido es:



<script type="application/ld+json">
    {
      "@context": "[URL='https://schema.org/']https://schema.org[/URL]",
      "@type": "NewsArticle",
      "headline": "AQUI EL TITULO DE LA PAGINA WEB",
      "image": [
        "[URL='https://AQUI LA URL DE LA IMAGEN.png[/URL]"
       ],
      "datePublished": "AQUI LA FECHA",
      "dateModified": "AQUI LA FECHA"
    }
    </script>

Mi idea es poder realizar todo el proceso con un solo click.

Alguna sugerencia para realizar esta automatización?

Gracias.

cholemon · 23/02/2021

Haz scrap y le aplicas expresiones regulares para poder extraer lo que necesitas.

Henry00jj95 · 23/02/2021

EMM disse:
Hola a todos.

Estoy buscando alguna aplicación que me permita automatizar un proceso que requiere de webscrapping.

Se trata de extraer ciertos valores de una pagina web (fecha, url de imagen y titulo) para insertarlos en el "esqueleto" de un fichero .txt cuyo contenido es:

<script type="application/ld+json"> { "@context": "[URL='https://schema.org/']https://schema.org[/URL]", "@type": "NewsArticle", "headline": "AQUI EL TITULO DE LA PAGINA WEB", "image": [ "[URL='https://AQUI LA URL DE LA IMAGEN.png[/URL]" ], "datePublished": "AQUI LA FECHA", "dateModified": "AQUI LA FECHA" } </script>

Mi idea es poder realizar todo el proceso con un solo click.

Alguna sugerencia para realizar esta automatización?

Gracias.

Si sabes algo de PHP te recomiendo usar curl más expresiones regulares como preg_match o preg_match_all para sacar dicho contenido.

Demiax · 23/02/2021

Buenas, si conoces Python puedes realizarlo con él y BeautifulSoup.
Saludos

mchojrin · 24/02/2021

Aquí tienes un ejemplo que utiliza simples expresiones regulares pero lo que yo te recomiendo es que utilices la librería DomCrawler de Symfony.

EMM · 24/02/2021

Muchas gracias!!

automatizar processos com scraping

EMM

cholemon

Henry00jj95

Demiax

mchojrin

EMM

Tópicos similares