Evita usar objetos flash(contador de visitas en la sidebar).
Habilitar la compresión gzip en tu web.
En el loop del home no utilices la función the_post_thumbnail(); sola, agrégale adentro the_post_thumbnail(array(150,150)); y con css la agrandas a 200x200, y mejoraría un poco la carga.
Debes poner imágenes más livianas.
Si vas a usar plugins de cache, es algo medio tonto, o por lo menos a mi no me gustan esos plugins.. porque el usuario almacena cache que luego debes borrar tu de manera manual o él para ver cambios, mejor ocúpate de mejorar el código interno, contrata de algún optimizador y listo.
Saludos.
PD: El optimizador debería saber de wordpress, ya que debería juntar todos los css de los plugins que tienes en el archivo interno del theme o crear un nuevo fichero css y hacerlo llamar en tu theme. Mover la carga de javascript a lo último, entre otras cosas, por cierto, desactiva aquellos plugins innecesarios que tengas.
