Tutorial: Scraper Xvideos [Node.js + Playwright]

  • Autor Autor rafadizeosp
  • Data de início Data de início
Tradução em andamento: em alguns minutos este tópico estará em português. Por enquanto, o conteúdo está no original em espanhol. Ver original
rafadizeosp

rafadizeosp

Mi
Verificación en dos pasos activada
Verificado por Binance
Hola comunidad, les comparto algo en lo que estuve trabajando esta mañana:

Video Scrapper

Este proyecto es un scrapper que extrae información de videos de Xvideos y la guarda en un archivo JSON. Utiliza Playwright para navegar y extraer datos de la página web.

Requisitos:

  • Node.js (versión 14 o superior)
  • npm (versión 6 o superior)
Instalación:

  1. Descargue el archivo: Descargue el archivo video-scrapper-v1.0.0.zip desde los archivos adjuntos.
  2. Descomprimir el Archivo: Descomprima el archivo descargado en una ubicación de su elección.
  3. Instalar dependencias:
    Abra una terminal o línea de comandos y navegue hasta el directorio del proyecto descomprimido.
    Ejecute el siguiente comando para instalar las dependencias:
    Bash:
    npm install
  4. Modificar la URL a scrapear: Busque en el código URL_RESULTADOS_BUSQUEDA_XVIDEOS y reemplácela por la URL de los resultados de búsqueda (por ejemplo, https://www.xvideos.com/?k=Argentina&sort=uploaddate).
  5. Ejecutar el scraper:
    Bash:
    node index.js
Uso:

  1. Ejecutar el scrapper:
    Bash:
    node index.js
  2. Verificar la generación del archivo: Verifique que se haya generado el archivo data.json con la información recopilada.
Estructura del Proyecto:

  • index.js: El script principal que realiza el scraping.
  • package.json: Contiene las dependencias y scripts del proyecto.

UPDATE: Dejo un ejemplo del JSON generado

 

Anexos

Última edição:
Foi útil? Participe da conversa

Com sua conta grátis você pode responder, mandar mensagem privada ao autor e comprar com Saldo retido: o pagamento é liberado quando você recebe o combinado.

Leva 30 segundos · você volta a este tópico ao terminar
Excelente voy a testearlo compañero muchas gracias
 
  • Curtir
Reações: uva
se agradece tu trabajo

pero ¿para que sirve exactamente?
Hola comunidad, les comparto algo en lo que estuve trabajando esta mañana:

Video Scrapper

Este proyecto es un scrapper que extrae información de videos de Xvideos y la guarda en un archivo JSON. Utiliza Playwright para navegar y extraer datos de la página web.

Requisitos:

  • Node.js (versión 14 o superior)
  • npm (versión 6 o superior)
Instalación:

  1. Descargue el archivo: Descargue el archivo video-scrapper-v1.0.0.zip desde los archivos adjuntos.
  2. Descomprimir el Archivo: Descomprima el archivo descargado en una ubicación de su elección.
  3. Instalar dependencias:
    Abra una terminal o línea de comandos y navegue hasta el directorio del proyecto descomprimido.
    Ejecute el siguiente comando para instalar las dependencias:
    Bash:
    npm install
  4. Modificar la URL a scrapear: Busque en el código URL_RESULTADOS_BUSQUEDA_XVIDEOS y reemplácela por la URL de los resultados de búsqueda (por ejemplo, https://www.xvideos.com/?k=Argentina&sort=uploaddate).
  5. Ejecutar el scraper:
    Bash:
    node index.js
Uso:

  1. Ejecutar el scrapper:
    Bash:
    node index.js
  2. Verificar la generación del archivo: Verifique que se haya generado el archivo data.json con la información recopilada.
Estructura del Proyecto:

  • index.js: El script principal que realiza el scraping.
  • package.json: Contiene las dependencias y scripts del proyecto.
 
  • Curtir
Reações: uva
se agradece tu trabajo

pero ¿para que sirve exactamente?
Te lo dice en el post, extrae información de los vídeos de xvideos

Me imagino que guardara nombres de canal, antigüedad, nombres, etc

Esa información en buenas manos es bastante útil
 
se agradece tu trabajo

pero ¿para que sirve exactamente?

Puedes hacer muchas cosas, simples como crear un script que consuma el JSON y añada videos a tu sitio web, crear un api rest, crear una base de datos de videos. También puedes automatizar el proceso con alguna cronjob, utilizar los enlaces directos de video para implementar tu propio reproductor, etc
 
Hola comunidad, les comparto algo en lo que estuve trabajando esta mañana:

Video Scrapper

Este proyecto es un scrapper que extrae información de videos de Xvideos y la guarda en un archivo JSON. Utiliza Playwright para navegar y extraer datos de la página web.

Requisitos:

  • Node.js (versión 14 o superior)
  • npm (versión 6 o superior)
Instalación:

  1. Descargue el archivo: Descargue el archivo video-scrapper-v1.0.0.zip desde los archivos adjuntos.
  2. Descomprimir el Archivo: Descomprima el archivo descargado en una ubicación de su elección.
  3. Instalar dependencias:
    Abra una terminal o línea de comandos y navegue hasta el directorio del proyecto descomprimido.
    Ejecute el siguiente comando para instalar las dependencias:
    Bash:
    npm install
  4. Modificar la URL a scrapear: Busque en el código URL_RESULTADOS_BUSQUEDA_XVIDEOS y reemplácela por la URL de los resultados de búsqueda (por ejemplo, https://www.xvideos.com/?k=Argentina&sort=uploaddate).
  5. Ejecutar el scraper:
    Bash:
    node index.js
Uso:

  1. Ejecutar el scrapper:
    Bash:
    node index.js
  2. Verificar la generación del archivo: Verifique que se haya generado el archivo data.json con la información recopilada.
Estructura del Proyecto:

  • index.js: El script principal que realiza el scraping.
  • package.json: Contiene las dependencias y scripts del proyecto.

UPDATE: Dejo un ejemplo del JSON generado


Esta buenisimo pero yo por gusto personal usaria mas selenium pero eso ya es personal xD
 
Esta buenisimo pero yo por gusto personal usaria mas selenium pero eso ya es personal xD
Nunca toqué Selenium, soy nuevo en lo que es automatizaciones/scraping, lo hice en Playwright por una cuestion de simplicidad.
 
Voltar
Topo