Primero que nada revista bien las recomendaciones que te da PageSpeed Insights al hacer el test, generalmente ahí tienes ya las respuestas qué buscas.
Si lo que te preocupa es la velocidad de carga, puede que tu servidor tenga muy pocos recursos, si es así, quizá te convenga cambiar apache por nginx y usar php-fpm, además de un sistema de caché para wordpress (wp super cache es fácil de usar y tiene compatibilidad con wp-touch, si no mal recuerdo).
Son muchos los factores que tienen qué ver con la calificación de pagespeed insights, pero como dije al principio, ahí mismo Google te da las respuestas.