Deberías compartir MTR / Traceroute / Ping / Información técnica detalladas como Speedtest realizados y así para verificar a detalle como nosotros te podemos ayudar. Generalmente este tipo de situaciones se da por limitaciones entre el Centro de datos y la ISP, la distancia, el país, todo va relacionado acorde, uno lo soluciona a medias tuneando el kernel del sistema o configurando métodos de intermediar/repartir la conexión entre el servidor y el usuario.
Muchas veces siendo un servidor dedicado puede ser un problema de configuración con la tarjeta de red (o inclusive modelo/soporte/hardware)
Si quieres puedes compartirme los resultados por privado, igual y te explico a detalle el porque se dan estas situaciones (lo cual no es nuevo para muchos) ya que va relacionado con un tema de enrutamiento, túneles y trucos para vender conectividad a internet (por parte del ISP/Proveedor)