Revisando en pagespeed de google, tienes un 20 en móvil y 74 en ordenador, viendo que en estos momentos la navegación móvil está creciendo mucho, creo que tienes que ver ese aspecto de la carga, porque google y tus visitantes te van a penalizar.
Estos son los consejos que te da la pagina:
Habilita la compresión de texto
7,17 s
2
Elimina los recursos que bloqueen el renderizado
3,51 s
3
Pospón la carga de archivos CSS
0,9 s
4
Publica imágenes con formatos de próxima generación
0,75 s
5
Reduce los tiempos de respuesta del servidor (TTFB)
0,44 s
Estos los errores que encontró
Medidas y marcas de User Timing
Te recomendamos que uses la API User Timing en tu aplicación para calcular su rendimiento real durante las principales experiencias de usuario. Más información.
2
Asegúrate de que el texto permanece visible mientras se carga la fuente web
3
Publica recursos estáticos con una política de caché eficaz
Se han encontrado 64 recursos
4
Minimiza el trabajo del hilo principal
7,2 s
5
Reduce el tiempo de ejecución de JavaScript
3,0 s
6
Evita cargas útiles de red de gran tamaño
Tamaño total: 3.308 kB
7
Evita un tamaño excesivo de DOM
1.006 nodos
Creo que si mejora los tiempos de carga, el tema será lo de menos.
Saludos