Dedicado ou VPS para fazer scraping de sites do Google?

Aledky91

Delta

Verificación en dos pasos activada

• 15/09/2016

• #1

Hola a todos betas.. en esta ocasion vengo a preguntaros algo..

Tengo un proyecto en mente con el cual estare siempre scrapeando cosas de google y otras webs. La cosa es qye no se si necesito un dedicado o un vps potente. La verdad es que haria bastante consultas a web a la vez. ¿ Pueden aconsejarme un poco sobre todo esto?

¿Que tipo de hardware necesito para estar siempre lanzando varias consultas curl a distintas webs..?

Estoy un poco perdido con todo esto la verdad...

Un saludo a todos 🙂

 

S

SnAFKe

Zeta

Verificación en dos pasos activada

• 15/09/2016

• #2

Con un VPS 256MB RAM Basta pero si quieres ir a lo seguro entonces 512MB RAM

 

Aledky91

Delta

Verificación en dos pasos activada

• 15/09/2016

• #3

SnAFKe disse:

Con un VPS 256MB RAM Basta pero si quieres ir a lo seguro entonces 512MB RAM

Clique para expandir...

Tan pocos recursos se necesitan para lanzar muchas consultas a webs con curl php?

 

S

SnAFKe

Zeta

Verificación en dos pasos activada

• 15/09/2016

• #4

De cuantas web hablamos? yo hasta con proxy montado se me va, todo va a depender que tan optimizado este el scrap

 

Bruno

Ómicron

Domainer

Verificación en dos pasos activada

• 15/09/2016

• #5

para cuantas webs necesitas y tematicas?

 

Aledky91

Delta

Verificación en dos pasos activada

• 15/09/2016

• #6

SnAFKe disse:

De cuantas web hablamos? yo hasta con proxy montado se me va, todo va a depender que tan optimizado este el scrap

Clique para expandir...

Supongo que podrían ser unas 50 como máximo a la vez pero no siempre es esa cantidad.

 

J

johan

Mi

• 15/09/2016

• #7

Comienza con un vps barato te puedes llevar sorpresas si no te escalas es sencillo el hardware no puede ser un limite para empesar el proyecto 😛7:

 

S

SnAFKe

Zeta

Verificación en dos pasos activada

• 15/09/2016

• #8

Pero para que necesitas 50 al mismo tiempo? que estas haciendo?

 

F

fernandobj

Beta

Usuário com poucas negociações! Use sempre o saldo do ForoBeta!

• 15/09/2016

• #9

Yo te recomiendo un Vps intermedio , luego puedes migrar a un dedicado a medida que van aumentando visitas

 

M

migueldesafio

Beta

Usuário com poucas negociações! Use sempre o saldo do ForoBeta!

• 17/09/2016

• #10

Hola.

Yo empezaria por un VPS medio-alto y si ves que vas justo siempre se puede ampliar sin problema alguno.

Un saludo!

 

echosdutemps

Gamma

Programador

Usuário com poucas negociações! Use sempre o saldo do ForoBeta!

• 17/09/2016

• #11

Es una pregunta al aire que no encontrará respuesta (respuesta acertada me refiero) sin saberse más cosas.

Depende de la calidad del algoritmo que hayas implementado y como hayas tratado la concurrencia y el paralelismo.

Solución: empresa que te permita escalar recursos e ir probando consumo de ram y cpu.

 

W

webtech

Gamma

Usuário com poucas negociações! Use sempre o saldo do ForoBeta!

• 23/09/2016

• #12

Aledky91 disse:

Tengo un proyecto en mente con el cual estare siempre scrapeando cosas de google y otras webs. La cosa es qye no se si necesito un dedicado o un vps potente. La verdad es que haria bastante consultas a web a la vez. ¿ Pueden aconsejarme un poco sobre todo esto?

¿Que tipo de hardware necesito para estar siempre lanzando varias consultas curl a distintas webs..?

Clique para expandir...

Para 50 webs un VPS te irá bien, ve subiendo de recursos a medida que el consumo sube.
Aparte también ten en cuenta las visitas y conexiones simultáneas que recibirás, pues no lo mencionaste según veo y es un factor importante.
Si puedes tener el VPS con discos SSD tendrás mejor performance.

Un saludo,