Tutorial: Scraper Xvideos [Node.js + Playwright]

  • Autor Autor rafadizeosp
  • Fecha de inicio Fecha de inicio
rafadizeosp

rafadizeosp

Mi
Verificación en dos pasos activada
Verificado por Whatsapp
Verificado por Binance
Hola comunidad, les comparto algo en lo que estuve trabajando esta mañana:

Video Scrapper

Este proyecto es un scrapper que extrae información de videos de Xvideos y la guarda en un archivo JSON. Utiliza Playwright para navegar y extraer datos de la página web.

Requisitos:

  • Node.js (versión 14 o superior)
  • npm (versión 6 o superior)
Instalación:

  1. Descargue el archivo: Descargue el archivo video-scrapper-v1.0.0.zip desde los archivos adjuntos.
  2. Descomprimir el Archivo: Descomprima el archivo descargado en una ubicación de su elección.
  3. Instalar dependencias:
    Abra una terminal o línea de comandos y navegue hasta el directorio del proyecto descomprimido.
    Ejecute el siguiente comando para instalar las dependencias:
    Bash:
    npm install
  4. Modificar la URL a scrapear: Busque en el código URL_RESULTADOS_BUSQUEDA_XVIDEOS y reemplácela por la URL de los resultados de búsqueda (por ejemplo, https://www.xvideos.com/?k=Argentina&sort=uploaddate).
  5. Ejecutar el scraper:
    Bash:
    node index.js
Uso:

  1. Ejecutar el scrapper:
    Bash:
    node index.js
  2. Verificar la generación del archivo: Verifique que se haya generado el archivo data.json con la información recopilada.
Estructura del Proyecto:

  • index.js: El script principal que realiza el scraping.
  • package.json: Contiene las dependencias y scripts del proyecto.

UPDATE: Dejo un ejemplo del JSON generado

 

Adjuntos

Última edición:
Excelente voy a testearlo compañero muchas gracias
 
  • Me gusta
Reacciones: uva
se agradece tu trabajo

pero ¿para que sirve exactamente?
Hola comunidad, les comparto algo en lo que estuve trabajando esta mañana:

Video Scrapper

Este proyecto es un scrapper que extrae información de videos de Xvideos y la guarda en un archivo JSON. Utiliza Playwright para navegar y extraer datos de la página web.

Requisitos:

  • Node.js (versión 14 o superior)
  • npm (versión 6 o superior)
Instalación:

  1. Descargue el archivo: Descargue el archivo video-scrapper-v1.0.0.zip desde los archivos adjuntos.
  2. Descomprimir el Archivo: Descomprima el archivo descargado en una ubicación de su elección.
  3. Instalar dependencias:
    Abra una terminal o línea de comandos y navegue hasta el directorio del proyecto descomprimido.
    Ejecute el siguiente comando para instalar las dependencias:
    Bash:
    npm install
  4. Modificar la URL a scrapear: Busque en el código URL_RESULTADOS_BUSQUEDA_XVIDEOS y reemplácela por la URL de los resultados de búsqueda (por ejemplo, https://www.xvideos.com/?k=Argentina&sort=uploaddate).
  5. Ejecutar el scraper:
    Bash:
    node index.js
Uso:

  1. Ejecutar el scrapper:
    Bash:
    node index.js
  2. Verificar la generación del archivo: Verifique que se haya generado el archivo data.json con la información recopilada.
Estructura del Proyecto:

  • index.js: El script principal que realiza el scraping.
  • package.json: Contiene las dependencias y scripts del proyecto.
 
  • Me gusta
Reacciones: uva
se agradece tu trabajo

pero ¿para que sirve exactamente?
Te lo dice en el post, extrae información de los vídeos de xvideos

Me imagino que guardara nombres de canal, antigüedad, nombres, etc

Esa información en buenas manos es bastante útil
 
se agradece tu trabajo

pero ¿para que sirve exactamente?

Puedes hacer muchas cosas, simples como crear un script que consuma el JSON y añada videos a tu sitio web, crear un api rest, crear una base de datos de videos. También puedes automatizar el proceso con alguna cronjob, utilizar los enlaces directos de video para implementar tu propio reproductor, etc
 
Hola comunidad, les comparto algo en lo que estuve trabajando esta mañana:

Video Scrapper

Este proyecto es un scrapper que extrae información de videos de Xvideos y la guarda en un archivo JSON. Utiliza Playwright para navegar y extraer datos de la página web.

Requisitos:

  • Node.js (versión 14 o superior)
  • npm (versión 6 o superior)
Instalación:

  1. Descargue el archivo: Descargue el archivo video-scrapper-v1.0.0.zip desde los archivos adjuntos.
  2. Descomprimir el Archivo: Descomprima el archivo descargado en una ubicación de su elección.
  3. Instalar dependencias:
    Abra una terminal o línea de comandos y navegue hasta el directorio del proyecto descomprimido.
    Ejecute el siguiente comando para instalar las dependencias:
    Bash:
    npm install
  4. Modificar la URL a scrapear: Busque en el código URL_RESULTADOS_BUSQUEDA_XVIDEOS y reemplácela por la URL de los resultados de búsqueda (por ejemplo, https://www.xvideos.com/?k=Argentina&sort=uploaddate).
  5. Ejecutar el scraper:
    Bash:
    node index.js
Uso:

  1. Ejecutar el scrapper:
    Bash:
    node index.js
  2. Verificar la generación del archivo: Verifique que se haya generado el archivo data.json con la información recopilada.
Estructura del Proyecto:

  • index.js: El script principal que realiza el scraping.
  • package.json: Contiene las dependencias y scripts del proyecto.

UPDATE: Dejo un ejemplo del JSON generado


Esta buenisimo pero yo por gusto personal usaria mas selenium pero eso ya es personal xD
 
Esta buenisimo pero yo por gusto personal usaria mas selenium pero eso ya es personal xD
Nunca toqué Selenium, soy nuevo en lo que es automatizaciones/scraping, lo hice en Playwright por una cuestion de simplicidad.
 
Atrás
Arriba