Para mejorar la velocidad:
1. Lo primero es optimizar el Hosting si es un VPS porque siempre vienen con la configuración por defecto.
2. Instalar un Plugin de Cache, el mejor es W3 Total Cache y es el que te recomiendo ya que reúne muchas cosas: Cachea paginas, Cachea base de datos, Minify CSS y JS, CDN, etc. Los otros Plugins de Cache no tienen todas estas opciones y te toca instalar otros Plugins para tenerlas.
3. Usar un CDN como el de Amazon en el cual debes tener todas las las imágenes, CSS y JS de tu Blog para así cargar todo eso desde diferentes servidores.
4. Cargar los JS Asincronamente (
http://forobeta.com/tutoriales-de-wordpress/80334-carga-javascript-asincronamente-mas-velocidad.html), aunque los botones sociales han cambiado y ahora ya cargan Asincronamente en la pagina de Facebook, Twittter y Google + ya esta los códigos Asincronos.
5. Sacar todos los Widgets como el relojito y esas vainas de jueguitos, tampoco poner botones de directorios como Blogalaxia, todo eso hay que sacarlo.
Con esto veraz una mejora increíble pero si quieres mas velocidad no uses los botones sociales ya que a pesar que han mejorado siguen siendo un poco lentos algunas veces