Rastreador de dominios

garridev · 2014-08-19T11:55:52-0500

Hola a todos!

Tengo en mente un script que recupere una lista de dominios para procesarlos. ¿Alguno tiene idea de como se podría hacer? ¿quizás una búsqueda programática en Google?

Gracias.

GKing · 2014-08-19T15:31:37-0500

Bueno, eso depende que dominios queres, si queres dominos relacionados a, "juegos" por ejemplo, si haria un script que realice una búsqueda con el término: "juegos" y los pondría en una base de datos cuidando que no haya duplicados.

garridev · 2014-08-19T15:35:03-0500

Gking gracias por contestar!! y como parsearias los resultados de Google desde PHP? Google permite que hagas búsquedas de forma automática?

GKing · 2014-08-19T15:41:55-0500

manuga93 dijo:
Gking gracias por contestar!! y como parsearias los resultados de Google desde PHP? Google permite que hagas búsquedas de forma automática?

Mira, hace mucho que no hago un script de busqueda de google (ahora usa SSL, pero con el cURL lo haces fácil creo) . Lo que tenes que hacer es usar la funcion sleep(), y darle 5 minutos de descanso cada 10 iteraciones (páginas) , y no bombardear con muchas peticiones, cada una con 10 segundos de espera ( mt_rand(10,25) ) .

$url = "https://www.google.com.ar/search?q=" . url_encode($TU_QUERY);

$datos = cURL($url);

garridev · 2014-08-19T15:49:56-0500

GKing dijo:
Mira, hace mucho que no hago un script de busqueda de google (ahora usa SSL, pero con el cURL lo haces fácil creo) . Lo que tenes que hacer es usar la funcion sleep(), y darle 5 minutos de descanso cada 10 iteraciones (páginas) , y no bombardear con muchas peticiones, cada una con 10 segundos de espera ( mt_rand(10,25) ) .

$url = "https://www.google.com.ar/search?q=" . url_encode($TU_QUERY);

$datos = cURL($url);

muchas gracias!! lo pruebaré y te comento, en que afecta que ahora sea https?

GKing · 2014-08-19T15:54:18-0500

manuga93 dijo:
muchas gracias!! lo pruebaré y te comento, en que afecta que ahora sea https?

Ahora todas las búsquedas de google pasan por una capa encriptada (llamada SSL) , es decir no podes ver más las palabras claves de tus visitas y cada búsqueda que realices estan encriptadas (no las puede ver un packet sniffer por ejemplo, o tu ISP, o una red WiFi Publica)

heyla03 · 2014-08-21T06:04:59-0500

Para parsear las busquedas desde php yo utilizo phpquery para parsear todo tipo de html desde php

garridev · 2014-08-21T06:11:39-0500

he probado la idea de GKing y va muy bien!

heyla03 dijo:
Para parsear las busquedas desde php yo utilizo phpquery para parsear todo tipo de html desde php

Gracias heyla03 por tu aportación, voy a probarlo

Ahora me surge otra duda... cuando tenga el script php funcionando, ¿como puedo ver como va corriendo?, quiero decir, mi idea es montar un pequeño panel que se visualice en el navegador y vaya mostrando un log de como va funcionando el script (imprimiendo los "echo" por ejemplo)

heyla03 · 2014-08-21T06:12:49-0500

Pon una barra de bootstrap y hazlo por ajax . Como un batch

garridev · 2014-08-21T06:15:35-0500

heyla03 dijo:
Pon una barra de bootstrap y hazlo por ajax . Como un batch

me gusta, gracias crack!

heyla03 · 2014-08-21T06:16:19-0500

Nada pa eso estamos

garridev · 2014-08-21T06:39:57-0500

bueno y si el script php empieza a ejecutarse automáticamente por una orden de cron job y accedo al panel en ese momento... ¿Cómo sincronizo el panel con ese script que ya se está ejecutando?

garridev · 2014-08-28T12:35:58-0500

manuga93 dijo:
bueno y si el script php empieza a ejecutarse automáticamente por una orden de cron job y accedo al panel en ese momento... ¿Cómo sincronizo el panel con ese script que ya se está ejecutando?

Quizás a alguien le sirve de ayuda así que me respondo a mi mismo :witless:

Al ejecutar un script automáticamente con cron jobs se inicia un proceso nuevo de apache que se encarga de su ejecución. Al arrancar el script podemos obtener el pid del proceso con getmypid(); y almacenarlo en la base de datos... Así desde el panel podemos saber de su estado o incluso matarlo con la función exec(); y comandos de Unix (sin corre en unix).

Y si esta forma de trabajar os parece insegura podemos utilizar Sockets de php para sincronizar con el script que está corriendo!

Espero que os sirva de ayuda! :encouragement:
Saludos.