La compresion GZIP por parte de PHP es inecesaria, es mejor activar la compresion gzip que viene con Apache y dejar que se encargue del resto.
Y como dice skamasle, WP Super Cache, es el unico con Preload y Rebuild, El preload precarga todos los posts, cateogorias y taxonomias como si algun usuario los hubiera visitado y estos se colocan en cache. Y el rebuild desactiva el colector de basura para que no elimine el contenido, y cuando algo expira, se genera en segundo plano mientras se le envia el contenido cacheado al usuario, y de esta manera todos los usarios tendran las paginas cargadas a su maxima velocidad sin tener que esperar a que estas se generen, y se recomienda separar el Cron de WP para que funcione mejor.
- - - Actualizado - - -
Y hablando de las caches de objetos, aqui esta un ejemplo de fragmentacion si se usa APC:
En esa memoria, se usa como opcode, y se almacenan 10 variables que cambian algunas cada hora y otras a lo largo de la semana.
Cuando llega a fragmentarse mucho la memoria, se va perdiendo espacio, lo que provoca reinicios en la cache para liberar memoria.
Y en cambio memcached no se fragmenta, lo que lo hace perfecto para almacenar variables.
Comento esto porque es una parte muy importante, optimizar el lado de MySQL, y las caches de objetos disminuyen la carga hacia MySQL.