Cómo transferir 1.4 TB entre servidores dedicados?

xfireteam1 · 30 Nov 2013

Estoy intentando mover 1.4TB de espacio de un dedicado a otro.. lo intenté 2 veces pero no termina del todo.. Algún experimentado en la materia que pueda ayudarme con eso? Comisión por el procedimiento un MP o INBOX..

URGENTE AHORA.

Gracias.

Mcalderon · 30 Nov 2013

Ya pusiste en la white list de cphulk la IP del primer dedicado en el segundo?

Zentido · 30 Nov 2013

[MENTION=3716]skamasle[/MENTION] puede ayudar !

skamasle · 30 Nov 2013

Yo he movido hasta 2 tb de datos, imágenes, vídeo y audio de server a server y creeme que vía WHM no es plan mas que nada por que comprime y gastará recursos.

Por otro lado puede ser muy urgente y todo ese asunto, pero mínimo tardaras más de 15 horas en moverlo todo si la red va bien, si los servidores son de 1gbit mucho menos.

numeric · 30 Nov 2013

skamasle dijo:
Yo he movido hasta 2 tb de datos, imágenes, vídeo y audio de server a server y creeme que vía WHM no es plan mas que nada por que comprime y gastará recursos.

Por otro lado puede ser muy urgente y todo ese asunto, pero mínimo tardaras más de 15 horas en moverlo todo si la red va bien, si los servidores son de 1gbit mucho menos.

comprimir, y wget o ftp via SHH, tambien puedes usar screen para dejarlo trabajando al lado del server

Zentido · 30 Nov 2013

Ese es mi Skamaslecito :love_heart:

skamasle · 30 Nov 2013

numeric dijo:
comprimir, y wget o ftp via SHH, tambien puedes usar screen para dejarlo trabajando al lado del server

Comprimir 1000 gigas de datos y luego usar wget sería una locura, piensa que un server puede tener un espacio de 2 tb si vas a comprimir 1.4 tb de audio, vídeo o imágenes te genera un archivo de de 1.2 tb con algo de suerte, y con más suerte aún terminara en 2 horas, luego usar wget :/

En resumen en la mayoría de los casos no tendrás suficiente espacio para comprimir los datos luego perderás mucho tiempo, usando otros métodos vs comprimir, puedes transferir hasta 200 gigas mientras acaba de comprimir el pack.

Depende del tamaño de los archivos yo usuaria lftp o rsync, para archivos grandes como vídeos una transferencia paralela con lftp es bastante útil o bien rsync daemon bien configurado, para archivos pequeños yo iría por rsync, con esto es más eficaz y tiene muchos otros beneficios.

7:

hasdpk · 30 Nov 2013

El WHM tiene una opción para importar las cuentas de otro servidor, recuerdo haberla visto, pero no recuerdo en que sección.

TuTiendaHosting · 7 Dic 2013

hasdpk dijo:
El WHM tiene una opción para importar las cuentas de otro servidor, recuerdo haberla visto, pero no recuerdo en que sección.

Exacto con la opcion de migrar cuentas de whm es la mejor opcion, migra de por ejemplo de 50 en 50 no te deberia dar problemas.

inasset · 13 Ene 2014

Hola!

Has probado dividir el contenido en varios archivos comprimidos?

Puedes crear varios .ZIP, e intentar transferirlos uno a uno. Seguramente irá mejor que transferirlo todo de una vez.

Saludos!
[MENTION=79097]inasset[/MENTION]

NeoComp · 4 Feb 2014

Aunque ha pasado algo de tiempo igual quiero aportar una opinión al respecto ...

El mejor método que he usado ha sido sincronizando los archivos con rsync pero usando un servidor de backup remoto, optimizado y dedicado para backups y con un buen ancho de banda, asi se puede incluso ir copiando varios directorios en paralelo y otro efecto positivo de este método es que queda un backup remoto.

Comprimir 1,4 Tb, tratar de copiarlo usando WHM o zipeando y usando FTP son alternativas muchísimo mas lentas, poco prácticas y poco eficientes de hacer lo mismo ... no está especificado si son muchas cuentas o solo una o unas pocas que tienen mucho peso, pero en casi todos los casos rsync es mucho mejor ... está probado.

xfireteam1 · 5 Feb 2014

actualizo el post para indicar que mi server tenía 2TB de espacio contraté un servicio de PLATINUMMANAGEMENT algo así.. y en 6 días no pudieron transferirlo los hijos de put4.. asi que me cancelaron el servidor viejo y perdí el 80% de mi información..

Gracias por sus comentarios =)

NeoComp · 6 Feb 2014

xfireteam1 dijo:
actualizo el post para indicar que mi server tenía 2TB de espacio contraté un servicio de PLATINUMMANAGEMENT algo así.. y en 6 días no pudieron transferirlo los hijos de put4.. asi que me cancelaron el servidor viejo y perdí el 80% de mi información..

Que lástima ... acabo de hacer varias pruebas de backup usando el método que indiqué mas arriba con uno de mis VPS "en producción" y calculé que transferir los 2 Tb me tomaría exactamente 2,5 días y estoy 100% seguro que si uso varios servidores de backup remotos en paralelo podría reducir el tiempo a la mitad o menos, todo dependería de la tasa de transferencia máxima que soporte el servidor de salida, la copia hacia un servidor nuevo es irrelevante ya que se puede ir haciendo en forma simultánea y tal como lo comenté previamente habrías quedado además con un backup full de todos los datos en servidores con RAID-6 ... asi que ya sabes para otra ocasión donde buscar ayuda

Mas tarde voy a tratar de hacer una prueba con varios servidores de backups remotos y distribuídos en paralelo y calcular a que tasa puedo respaldar la información y estimar un mejor tiempo para los 2 Tb.

Andaina · 7 Feb 2014

Lo primero cogete una silla y bebidas energeticas porque posiblemente tardes 24h en pasarlo todo.

Es mucho espacio para comprimirlo y pasarlo. Quizas ni tengas espacio para hacerlo.

Lo lógico es rsync y listo. Cualquier otra opción no es viable.

Espero que te sirva de ayuda.

NeoComp · 7 Feb 2014

xfireteam1 dijo:
actualizo el post para indicar que mi server tenía 2TB de espacio contraté un servicio de PLATINUMMANAGEMENT algo así.. y en 6 días no pudieron transferirlo los hijos de put4.. asi que me cancelaron el servidor viejo y perdí el 80% de mi información..

Ya hice las pruebas con 1, 2 y 3 servidores de backups remotos en paralelo y tal como lo predije se puede reducir considerablemente el tiempo para la migración de los 2 Tb, despues de hacer varias pruebas con unos cuantos Gb y varios miles de archivos de diferentes tamaños los promedios fueron :

1 conexión = 2,5 días
2 conexiones = 1,7 días
3 conexiones = 1,25 días

Tampoco tiene mucho sentido tener por ejemplo 10 conexiones porque se va a degradar la lectura de disco, creo que con 2 o 3 es más que suficiente, la idea era probar que se podía mejorar el tiempo.

Obviamente que hay que considerar la potencia de cpu de cada servidor, los tipos y cantidad de discos, si tiene o no RAID y sobre todo la velocidad de los puertos de conexión a internet y la velocidad máxima de salida del servidor de orígen, pero con todas las pruebas que hice puedo garantizar que no hay ningún problema para migrar 2 Tb en mucho menos de 6 días ... solo hay saber como hacerlo y listo

skamasle · 8 Feb 2014

NeoComp dijo:
Ya hice las pruebas con 1, 2 y 3 servidores de backups remotos en paralelo y tal como lo predije se puede reducir considerablemente el tiempo para la migración de los 2 Tb, despues de hacer varias pruebas con unos cuantos Gb y varios miles de archivos de diferentes tamaños los promedios fueron :

1 conexión = 2,5 días
2 conexiones = 1,7 días
3 conexiones = 1,25 días

Tampoco tiene mucho sentido tener por ejemplo 10 conexiones porque se va a degradar la lectura de disco, creo que con 2 o 3 es más que suficiente, la idea era probar que se podía mejorar el tiempo.

Obviamente que hay que considerar la potencia de cpu de cada servidor, los tipos y cantidad de discos, si tiene o no RAID y sobre todo la velocidad de los puertos de conexión a internet y la velocidad máxima de salida del servidor de orígen, pero con todas las pruebas que hice puedo garantizar que no hay ningún problema para migrar 2 Tb en mucho menos de 6 días ... solo hay saber como hacerlo y listo

Yo he migrado 2 teras y la verdad que no hacen falta 6 días, aveces se complica la cosa cuando son vídeos muy pesados, pero tampoco es problema.

Mi método favorito: lftp + rsync, una combinación de los dos migras 2 tb en poco tiempo, uno para archivos grandes con --parallel y el otro para archivos pequeños.

La última vez fueron 1.7 tb en 15 horas más o menos.

Lo de platinum es para denunciarles, lo más seguro que han puesto a migrar de whm a whm y ni se han fijado si tenia 2 tb el servidor, como hacen siempre, van a su bola lo dejan todo automático..