Creo que el problema lo tiene tu servidor, y la velocidad con la que trabaja, accede a la base de datos, y en general, capacidad de rendimiento y trabajo. Para descartar que puedan ser otras cosas, prueba a habilitar la compresión Gzip, reduce la cantidad de CSS y scripts que usa tu web, o trata de limpiarlos y optimizarlos para que todo cargue más fluido. Te ayudará, además de para descartar problemas, para mejorar algo tu velocidad web.
Si tomas medidas como las que te acabo de decir, y aún así sigue siendo muy largo el tiempo de carga y reacción, casi 100% seguro es que sea el servidor. Mira tu tarifa, la capacidad de procesador y RAM de tu servidor, y si no logras optimizarlo completamente, acude al servicio de atención al cliente, o valora las diferentes opciones de servidores en el mercado.
Saludos
