Técnica para obtener URLs DMCA de Lumen Database

Think Big dijo:

Hola, me gustaría saber si conocéis alguna técnica para obtener todas las URLs reportadas por DMCA de un sitio web a través de Lumen Database (https://www.lumendatabase.org). Anteriormente, se mostraban las URLs completas del sitio web reportado, pero ahora nada más se muestra el dominio root y para conocer la URL, tienes que mandar una petición individual por cada URL.

¿Hay alguna otra forma de ver todas las URLs desindexadas de un sitio web, causadas por reportes DMCA, que por medio de Lumen Database?

Hacer clic para expandir...

Think Big dijo:

¿Vendes ese script? @Tony

Por otro lado, ¿cómo haces bypass a reCAPTCHA?

Hacer clic para expandir...

Tony dijo:

No lo vendo, es parte de un sistema que tenemos en mi trabajo.

Para recaptcha usa 2captcha

Hacer clic para expandir...

Think Big dijo:

¿Cómo scrapeas más allá de la página 10 de resultados? porque entiendo que no usas la API de Lumen DB

Hacer clic para expandir...

Tony dijo:

Programalo, nosotros tenemos una integración con Lumen DB, y la actualizamos hace como un mes para soportar el request access por notice.

La idea es automatizar el request y que tengas un listener POP3 para los 1-time use links que mandan cuando llenas este form:

Request full access to DMCA (Copyright) Complaint to Google :: Lumen

www.lumendatabase.org

Hacer clic para expandir...

Think Big dijo:

Una duda que me quedó pendiente en cuanto a esto @Tony - En Lumen Database, como que cuando usas 1 vez un email, para recibir un 1-time link, ya ese email no lo puedes usar más. ¿De qué forma manejáis eso para poder usar todos los emails que queráis?

Hacer clic para expandir...

Tony dijo:

Nosotros tenemos Google Apps en la compañía, entonces es tan fácil como correo+[timestamp]@company.com, la alternativa es (también con Google Apps) utilizando una regla de "catch-all" en caso de que no puedas usar el + entonces haces una regla para cachar todo lo que llegue como correo-[timestamp]@company.com (el guión si lo dejan usar donde sea, a nosotros nos detectaron el + ya hace tiempo) en correo@company.com.

Hacer clic para expandir...