1- Las imágenes.
Las imágenes son uno de los principales factores por los que en este momento se te demora un poco. Para empezar recuerda siempre usar el formato jpeg, no PNG (a no ser de que sea necesario, como por ejemplo una imagen de fondo transparente). Siempre que subas una imagen trata de recortarlas al tamaño que necesitas (nunca uses imágenes súper grandes) como usas Wordpress puedes usar el plugin Imsanity para recortarlas automáticamente. Adicional, el plugin WP Smush.it te optimiza las imágenes. Wordpress por defecto optimiza los jpeg a un 80%, con este plugin te puede bajar mucho peso.
2- Los Plugins.
Sé que te he recomendado 2 plugins, pero no instales algo si no es estrictamente necesario, con cada vez que instalas un plugin en la base de datos se crean tablas que la hacen mucho más grande y pesada, tablas que no se quitan al eliminar el plugin. Repito, no instales algo si no es estrictamente necesario no o ser que no tengas otra opción.
3- Lazy Load
Siguiente con el tema de la carga de imágenes, el Lazy Load te puede ayudar bastante, aplicando esto puedes hacer que al cargar la página el sitio sólo muestre las imágenes que el usuario va solicitando, de esta manera carga mucho más rápido y va cargando mientras el usuario va haciendo scroll. Esto funciona muy bien para los sitios que tienen scroll infinito o alguna página larga con muchas imágenes.
4- Minificar
Puedes minificar el HTML, CSS y Javascript. Este tema sí es más complejo, por lo general los plugins de caché (como el que tienes instalado) traen esta opción, sin embargo, es de cuidado puesto que puede desorganizar la página. En internet puedes encontrar varios tutoriales muy buenos de cómo minificar con w3 Total Cache.
Un saludo.