Hay tantos factores porque puede aumentar o disminuir la carga. Y viene desde optimizacion hasta el routing que tiene el proveedor de hosting.
Algunas empresas pueden tener mejor routing que otros, osea el trafico donde se envian esta congestionado y por eso puede tardar, como tambien puede tener mas saltos de nodos que esta puede ocacionar la perdida de velocidad.
Son pero tanto factores que te puede estar afectando, lo que te recomiendo si tienes un buen trafico y tienes ganancias considerables, es en implimar un Load Balancing, uno para America y otro para Europa, enviar el trafico especifico en dichos continntes y le sacas beneficio.
Lo mencionado anterior es una sugerencia no es algo que debes de hacer, te recomendaria si quieres tener beneficio en ambos contienentes compra servidores en East Cost en USA.