Web scraping

Hola, estoy aprendiendo bastante de como hacer web scraping en python y pensaba en sacar un servicio de web scraping, pero la verdad no se hasta que punto hay gente interesada en ello ni que tipo de información querrían scrapear.

¿Qué opinión tienen?¿Qué pedirían?¿Cuánto estarían dispuestos a pagar?

Lo encontraría un servicio muy interesante, dependiendo de la dificultad que conllve para ti así como la escasez del servicio, competidores podrías definir un buen precio, que se adapte a lo que el cliente quiera, puedes ir agregando cosas opcionales para que no sea un valor muy alto en principio, es decir, agregas funcionalidad y luego puedes por ejemplo ofrecer implementarlo con css y eso añade más trabajo y más precio, cosas así :encouragement:

Que sabes hacer ?

Enviado desde mi SM-J700M mediante Tapatalk

depende que tipo de webs scrapeas...
yo diria que mejor lo hagas en forma de plugin,

El problema es que estaba aprendiendo un framework de scrapeo pero no sabía como enfocar el servicio. Estoy pensando en crear programas de escritorio que te extraigan todos los tweets de una cuenta, todas las fotos de un tumbler o de un instagram, algo así, y vender los programas. ¿Qué les parece?

[MENTION=415]Feanor[/MENTION]

No te recomiendo que lo hagas en forma de plugin, debido a la facilidad de que compartan el trabajo hecho por ti.

Lo que te recomiendo es que lo hagas a nivel server de tu lado, y solo implementes plugin que haga los llamados mediante al API para poder acceder al script en tu server.

En resumen, todo el trabajo lo haria tu server, el plugin solo contendría las llamadas mediante API a tu server para realizar el scrapeo.

El unico problema que le veo a eso, es que como el unico que realizara el scrapeo es el server, necesitarias un monton de IP, por si te llegan a banear algunas.

Obviamente eso cuesta y mucho. Pero se soluciona al ofrecer suscripción mediante cuotas mensuales o por información escrapeada.

Si lo llegas hacer, sea cual sea la forma, yo sería uno de tus primeros clientes, ya que tengo en mente un proyecto de noticias y necesitaria escrapear unos 10 portales de noticias.

Saludos

De eso que pides hay muchos que son open source y funcionan de maravilla

Búscalos tú mismo : The world's leading software development platform · GitHub