Rastreador de domínios

garridev · 19/08/2014

Hola a todos!

Tengo en mente un script que recupere una lista de dominios para procesarlos. ¿Alguno tiene idea de como se podría hacer? ¿quizás una búsqueda programática en Google?

Gracias.

GKing · 19/08/2014

Bueno, eso depende que dominios queres, si queres dominos relacionados a, "juegos" por ejemplo, si haria un script que realice una búsqueda con el término: "juegos" y los pondría en una base de datos cuidando que no haya duplicados.

garridev · 19/08/2014

Gking gracias por contestar!! y como parsearias los resultados de Google desde PHP? Google permite que hagas búsquedas de forma automática?

GKing · 19/08/2014

manuga93 disse:
Gking gracias por contestar!! y como parsearias los resultados de Google desde PHP? Google permite que hagas búsquedas de forma automática?

Mira, hace mucho que no hago un script de busqueda de google (ahora usa SSL, pero con el cURL lo haces fácil creo) . Lo que tenes que hacer es usar la funcion sleep(), y darle 5 minutos de descanso cada 10 iteraciones (páginas) , y no bombardear con muchas peticiones, cada una con 10 segundos de espera ( mt_rand(10,25) ) .

$url = "https://www.google.com.ar/search?q=" . url_encode($TU_QUERY);

$datos = cURL($url);

garridev · 19/08/2014

GKing disse:
Mira, hace mucho que no hago un script de busqueda de google (ahora usa SSL, pero con el cURL lo haces fácil creo) . Lo que tenes que hacer es usar la funcion sleep(), y darle 5 minutos de descanso cada 10 iteraciones (páginas) , y no bombardear con muchas peticiones, cada una con 10 segundos de espera ( mt_rand(10,25) ) .

$url = "https://www.google.com.ar/search?q=" . url_encode($TU_QUERY);

$datos = cURL($url);

muchas gracias!! lo pruebaré y te comento, en que afecta que ahora sea https?

GKing · 19/08/2014

manuga93 disse:
muchas gracias!! lo pruebaré y te comento, en que afecta que ahora sea https?

Ahora todas las búsquedas de google pasan por una capa encriptada (llamada SSL) , es decir no podes ver más las palabras claves de tus visitas y cada búsqueda que realices estan encriptadas (no las puede ver un packet sniffer por ejemplo, o tu ISP, o una red WiFi Publica)

heyla03 · 21/08/2014

Para parsear las busquedas desde php yo utilizo phpquery para parsear todo tipo de html desde php

garridev · 21/08/2014

he probado la idea de GKing y va muy bien!

heyla03 disse:
Para parsear las busquedas desde php yo utilizo phpquery para parsear todo tipo de html desde php

Gracias heyla03 por tu aportación, voy a probarlo 🙂
Ahora me surge otra duda... cuando tenga el script php funcionando, ¿como puedo ver como va corriendo?, quiero decir, mi idea es montar un pequeño panel que se visualice en el navegador y vaya mostrando un log de como va funcionando el script (imprimiendo los "echo" por ejemplo)

heyla03 · 21/08/2014

Pon una barra de bootstrap y hazlo por ajax . Como un batch

garridev · 21/08/2014

heyla03 disse:
Pon una barra de bootstrap y hazlo por ajax . Como un batch

me gusta, gracias crack!

heyla03 · 21/08/2014

Nada pa eso estamos

garridev · 21/08/2014

bueno y si el script php empieza a ejecutarse automáticamente por una orden de cron job y accedo al panel en ese momento... ¿Cómo sincronizo el panel con ese script que ya se está ejecutando?

garridev · 28/08/2014

manuga93 disse:
bueno y si el script php empieza a ejecutarse automáticamente por una orden de cron job y accedo al panel en ese momento... ¿Cómo sincronizo el panel con ese script que ya se está ejecutando?

Quizás a alguien le sirve de ayuda así que me respondo a mi mismo :witless:

Al ejecutar un script automáticamente con cron jobs se inicia un proceso nuevo de apache que se encarga de su ejecución. Al arrancar el script podemos obtener el pid del proceso con getmypid(); y almacenarlo en la base de datos... Así desde el panel podemos saber de su estado o incluso matarlo con la función exec(); y comandos de Unix (sin corre en unix).

Y si esta forma de trabajar os parece insegura podemos utilizar Sockets de php para sincronizar con el script que está corriendo!

Espero que os sirva de ayuda! :encouragement:
Saludos.

Rastreador de domínios

garridev

GKing

garridev

GKing

garridev

GKing

heyla03

garridev

heyla03

garridev

heyla03

garridev

garridev

Tópicos similares