En realidad influyen algunos factores, aunque instales un pluging de caché, sino solucionas los otros seguirás teniendo problemas. Los más importantes son:
1. Comprimir de manera progresiva y reducir de tamaño todas las imágenes de tu sitio web.
2. Instalar un plugin de cache, el más conocido y ue suele funcionar a la mayoría es W3cache. Hay varias opciones para activar, sólo ten cuidado al usar el Minify. Algunas funciones se desactivan con eso.
3. Un buen hosting es imprescindible. No vale de mucho solucionar los primeros si esto último no es de calidad.
Saludos.