Scrapear todos los dominios de una ccTDL

  • Autor Autor Jorguito
  • Fecha de inicio Fecha de inicio
J

Jorguito

Iota
SEO
Hola Betas que tal les va?

Me es necesario armar unas enormes base de datos de dominios geográficos (EJ .mx .uy .ar .cl etc) registrados para uso de un software estadístico.

No encuentro ninguna base de datos ya creada o como realizarlo, ya que con scrapebox puedo scrapear de a un máximo de 100 keywords por tirada antes de que se me queme la IP.

En un principio necesito comenzar a scrapear dominios de mi país, Uruguay que según algunas fuentes oficiales y por mis propios medios me han informado que son unos 90.000 los registrados, claro que no todos deben tener actividad, Es decir tener pagina web que son los dominios que necesito.

Agradezco su ayuda...
 
Algunos paises como chile muestran los ultimos dominios registrados en tal pais, lo recuerdo porque hice un bot para un conocido de ******... pero en tu caso esta un poco dificil la cosa ya que se te quema la ip por usar el buscador de google.
Lo unico que se me ocurre es que saques un listado de palabras tipo diccionario y vayas uno por uno con un bot haciendo ping para ver si responde o no
 
Algunos paises como chile muestran los ultimos dominios registrados en tal pais, lo recuerdo porque hice un bot para un conocido de ******... pero en tu caso esta un poco dificil la cosa ya que se te quema la ip por usar el buscador de google.
Lo unico que se me ocurre es que saques un listado de palabras tipo diccionario y vayas uno por uno con un bot haciendo ping para ver si responde o no

Cual es la URL para los dominios de Chile? Y envíame por MP cual es el bot, que si es el curso estoy pero se bloqueo la palabra y no estoy seguro jeje

Gracias!
 
Cual es la URL para los dominios de Chile? Y envíame por MP cual es el bot, que si es el curso estoy pero se bloqueo la palabra y no estoy seguro jeje

Gracias!

Ya te envie por mp

- - - Actualizado - - -

Se puede bajar en un csv hasta los del ultimo mes registrados
 
de los TDL tengo una lista con mas de 50 millones, veo difícil en tu caso ya que te requerirá de mucho trabajo manual, de los .mx poseo mas de 500 mil pero sinceramente no tengo idea de cuantos de esos estarían activos aun😕
 
de los TDL tengo una lista con mas de 50 millones, veo difícil en tu caso ya que te requerirá de mucho trabajo manual, de los .mx poseo mas de 500 mil pero sinceramente no tengo idea de cuantos de esos estarían activos aun😕

Me pasas la lista de los .mx?
 
Atrás
Arriba