Yo creo que mejor es tener una versión especial para moviles la idea es que evites cargar recursos innecesarios en móviles, hay estilos css, código html, imágenes etc que no se usan en móvil. puedes también optimizar tu web en base a las herramientas como :
- Google Page Speed
- GTmetrix
- Pingdom Tools
Coincido, se debe preparar una versión móvil menos cargada con los editores mas usados (Elementor, Visual Composer) por citar algunos, es sencillo de adaptar.
Gtmetrix te da detalles mas reales, y que valen la pena tomar en cuenta ya que Google Sugiere mejoras, que romperán tu sitio en la mayoria de los casos.
Aquí hay un articulo interesante:
https://wp-rocket.me/blog/the-truth-about-google-pagespeed-insights
Volviendo a tu pregunta inicial como mejorar lo que ya tienes yo probaría lo siguiente:
Optimizaría las imágenes del sitio, si ya están optimizadas, prueba a convertirlas en formato Webp, y a través del archivo .htacces creas reglas de servido de acuerdo al navegador del usuario, eso reducirá el peso de tu web en un promedio de 30 a 50% menos, sin afectar apenas la calidad de las imágenes. (Creo que hay un plugin que ya hace eso) pero si lo puedes hacer sin plugins mejor todavía.
Si tu servicio de hosting se queda algo corto, podrías probar un servicio como
Keycdn, es un buen CDN y sus costos son muy accesibles, esto puede mejorar un poco mas la velocidad.
Como no mencionaste la url de tu web no puedo darte mas detalles. Saludos