Web Scraping

L

Linares

Beta

• 3 Feb 2017

• #1

Que tal.

De antemano agradezco a la gente que se tomo la molestia de entrar al tema y ver de que se trata (He aclarado muchas dudas aquí en forobeta) y esta es mi duda:

Muchos me imagino que ya sabrán lo que es el Scraping web, entonces:

* Con que lenguaje es mejor realizar el Scraping? Ya que he leido que se puede realizar solo con php, en java o usando Python, etc.
* O que herramienta o framework es mejor?
* Influye mucho la temática de la web?

Espero sus comentarios y gracias! :encouragement:

 

jsstoni

Gamma

Programador

Verificación en dos pasos activada

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 3 Feb 2017

• #2

Cualquier lenguaje backend puedes hacer scraping, herramientas (librerias) hay muchas te dejo a elección que busques en google como hacer scraping en (lenguaje?), si se trata de php yo recomiendo PHP Simple HTML DOM Parser

Web Scraping con php

 

R

riggs

Gamma

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 3 Feb 2017

• #3

mas del 50% de webs importantes no permiten que las escanees con algun bot, pero para las que si lo permiten puedes usar https://www.httrack.com/

 

BlogsPopuli

Iota

Redactor

Verificación en dos pasos activada

Verificado por Binance

• 3 Feb 2017

• #4

Yo lo hago con Visual Web Ripper. Es muy fácil de usar y no necesitas saber programación

 

D

drupalsito

Beta

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 3 Feb 2017

• #5

Java o C++ lo tienen todo, en modo objeto es mas sencillo y fácil de manejar cuando lo es así compañero.

Por eso este año me enfocare en aprender ese lenguaje grande de ingeniería en sistemas.

Si ya sabes PHP te sera fácil manejar los lenguajes de C o C++ es la misma sintaxis en parecidos, para construir un programa web scraper.

 

E

edw9879

Gamma

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 8 Feb 2017

• #6

Puedes usar cualquier lenguaje que domines para hacer Scraping a una web.
En mi caso, a mi se me hace más fácil hacer el Scraping con visual c# entorno escritorio usando Webclient (para obtener la data de la web).
Si se tiene que loguearse a la web y hacerse el Scraping, lo realizaría usando webbrowser. Desde allí accedo a la web y una vez que ingrese, se inicia el Scraping, ya sea para capturar data o descargar archivo en automatico.

La data, lo guardaría en un notepad o en un archivo excel.

 

Andres128

Iota

Programador

Verificación en dos pasos activada

• 8 Feb 2017

• #7

Yo personalmente recomiendo programar en visual basic 2012, es muy fácil crear los scrapers, adecuar el contenido y mandarlo a tu web de una forma rápida y muy fiable.