@kisame1919 llévate de mí, configura LiteSpeed Cache + Memcached y si no te satisface el resultado entonces configura Cloudflare.
Recuerda que una cosa es lo que dicen las herramientas como Gtmetrix o Pingdom que son terceros y servidores que usan millones de personas (agotando recursos) y otras son los resultados que puedes obtener haciendo pruebas locales y optimizando tu página web.
Te ayudo sin compromiso a configurar el plugin si quieres, solo debes enviarme un mensaje privado.