Cómo puedo scrapear los enlaces de esta web y hacer que se suban a la mia automaticamente?

  • Autor Autor richardx
  • Fecha de inicio Fecha de inicio

richardx

Gamma
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
Hola a todos. Este tema se relaciona con uno que abri ayer pero en este caso voy a ser más específico. Para un proyecto que quiero desarrollar, que se trata de una web de deporte en vivo, necesito scrapear los enlaces de las transmisiones de esta web: https://librefutboltv.com.

Luego, subir esos enlaces a la mia, y conseguir que se actualicen automaticamente a medida que la otra web los actualice.

Alguien podría orientarme un poco? Que librería de Python debería elegir para realizarlo? Selenium, Scrapy, Beautiful Soup?

Agradezco mucho sus rtas!
 
es una web simple fácil de scrapear usa el lenguaje que mas domines no te compliques con algo mas. Revisando el HTMl es bastante fácil no demoraras mucho.

busca ejemplos en github, pídele código a chatGpt o busca en stackoverflow. Parte de tu aprendizaje es saber donde buscar información
 
Gracias amigo por tu rta. Una duda, estoy algo perdido porque nunca hice algo asi. Mi duda es, una vez que tengo los datos scrapeados, almacenados en una base de datos, y logrando que el script se ejecute cada x tiempo para tener siempre los enlaces actualizados, como hago para que de manera automatica se actualicen en mi web? O sea, como conecto esa bd a mi web?

Me podrias decir como buscar para encontrar un curso que enseñen esto?
 
te veo super perdido,

Sabes algo de programación, algo de POO, puedes hacer al menos un CRUD en algún lenguaje?
 
m16u31 dijo:
te veo super perdido,

Sabes algo de programación, algo de POO, puedes hacer al menos un CRUD en algún lenguaje?
Hacer clic para expandir...
Soy diseñador web, y estoy introduciendome en esto del scraping. De base de datos tengo nociones básicas
 
m16u31 dijo:
te veo super perdido,

Sabes algo de programación, algo de POO, puedes hacer al menos un CRUD en algún lenguaje?
Hacer clic para expandir...
Pero bueno, me dedico 100% a esto, y tenfo toda la predisposición para aprender lo necesario para trabajar en el proyecto que tengo en mente
 
pues primero aprende a hacer un CRUD en el lenguaje que quieras. y tendrás todo mas claro. Aprenderás lo básico.

lo que necesitas del scraping es lo que aprenderás haciendo el CRUD, necesitas leer los datos, luego insertarlos etc etc .
 
Estoy en las mismas, quiero hacer scraping, y no tengo conocimiento, y veo poco probable que alguien ayude en casos específicos, solo queda bajarse Python* y Visual studio, y esperar que ChatGPT sea tu héroe
 
Bueno.
La parte de scraping podes manejarla con python y BS4
Esa es la parte "sencilla" (al menos, ya tenés una idea de qué hacer)

Para actualizar la web, ahí depende (en tecnología, siempre "depende"):

  • Es un CMS como WordPress? Quizas necesites utilizar la API
  • Es un sitio basado en otra tecnología? Quizás necesites acceder directamente a la DB para actualizar

Qué había hecho yo en un proyecto muy parecido pre-mundial que nunca publiqué?

Utilizando python y BS4, sacaba la info de rojadirecta/tarjetaroja/similar

Y la verdad es que soy bastante amarrete con los recursos, asi que utilice una página básica en HTML (con gohugo.io, mejor), actualizaba, y enviar los cambios a la web publicada

Mas pasos?
Seguro, pero la rapidez y bajos recursos que consume un html es la gloria para mí
 
Hay que estar conectado o registrado para responder aquí.
Menú
Acceder
Registro