¿Dedicado o VPS para scrapear webs de Google?

  • Autor Autor Aledky91
  • Fecha de inicio Fecha de inicio
Aledky91

Aledky91

Delta
Verificación en dos pasos activada
Hola a todos betas.. en esta ocasion vengo a preguntaros algo..

Tengo un proyecto en mente con el cual estare siempre scrapeando cosas de google y otras webs. La cosa es qye no se si necesito un dedicado o un vps potente. La verdad es que haria bastante consultas a web a la vez. ¿ Pueden aconsejarme un poco sobre todo esto?

¿Que tipo de hardware necesito para estar siempre lanzando varias consultas curl a distintas webs..?

Estoy un poco perdido con todo esto la verdad...

Un saludo a todos 🙂
 
Con un VPS 256MB RAM Basta pero si quieres ir a lo seguro entonces 512MB RAM
 
De cuantas web hablamos? yo hasta con proxy montado se me va, todo va a depender que tan optimizado este el scrap
 
para cuantas webs necesitas y tematicas?
 
SnAFKe dijo:
De cuantas web hablamos? yo hasta con proxy montado se me va, todo va a depender que tan optimizado este el scrap
Hacer clic para expandir...

Supongo que podrían ser unas 50 como máximo a la vez pero no siempre es esa cantidad.
 
Comienza con un vps barato te puedes llevar sorpresas si no te escalas es sencillo el hardware no puede ser un limite para empesar el proyecto 😛7:
 
Pero para que necesitas 50 al mismo tiempo? que estas haciendo?
 
Yo te recomiendo un Vps intermedio , luego puedes migrar a un dedicado a medida que van aumentando visitas
 
Hola.

Yo empezaria por un VPS medio-alto y si ves que vas justo siempre se puede ampliar sin problema alguno.

Un saludo!
 
Es una pregunta al aire que no encontrará respuesta (respuesta acertada me refiero) sin saberse más cosas.

Depende de la calidad del algoritmo que hayas implementado y como hayas tratado la concurrencia y el paralelismo.

Solución: empresa que te permita escalar recursos e ir probando consumo de ram y cpu.
 
Aledky91 dijo:
Tengo un proyecto en mente con el cual estare siempre scrapeando cosas de google y otras webs. La cosa es qye no se si necesito un dedicado o un vps potente. La verdad es que haria bastante consultas a web a la vez. ¿ Pueden aconsejarme un poco sobre todo esto?

¿Que tipo de hardware necesito para estar siempre lanzando varias consultas curl a distintas webs..?
Hacer clic para expandir...

Para 50 webs un VPS te irá bien, ve subiendo de recursos a medida que el consumo sube.
Aparte también ten en cuenta las visitas y conexiones simultáneas que recibirás, pues no lo mencionaste según veo y es un factor importante.
Si puedes tener el VPS con discos SSD tendrás mejor performance.

Un saludo,
 
Hay que estar conectado o registrado para responder aquí.

Temas similares

skrill3x
Rpd O Vps Para Scrapear
Respuestas
3
Visitas
302
Carlos Frias
Carlos Frias
Atrás
Arriba