Não gosto de ser tão crítico, mas sobre o que se diz para "otimizar", eu não recomendaria quase nenhum desses plugins. Talvez o Yoast se o que você quer otimizar é o SEO, mas sabendo configurá-lo para tirar todas as coisas desnecessárias que o WordPress traz e que podem penalizar o seu carregamento.
Como alguém disse por aí, colocar plugins a torto e a direito a única coisa que consegue é sobrecarregar o seu sistema. Incluo a seguir um par de considerações:
WP Rocket: Já me deu problemas no passado. Parei de utilizá-lo.
Plugins de otimização de imagens: Esse tipo de plugin funciona para frear os clientes que insistem em subir imagens pesadas. Um bom desenvolvedor deveria ser capaz de otimizar suas imagens antes sem precisar utilizar plugins.
Plugins de backup: Muito cuidado com esse tipo de plugin. Otimizar não otimizam nada e são perigosos porque podem deixar cópias do seu site (incluindo o wp-config.php) em zips com caminhos baixáveis. É um dos buracos de segurança mais típicos.
Plugins de estatísticas: Isso depende um pouco do cliente. Se ele quer ter estatísticas detalhadas, pode valer este ou o Analytics, por exemplo. Mas às vezes, o Search Console combinado com as estatísticas da hospedagem, por exemplo, te dá muita informação sem precisar instalar nada do seu lado. Os plugins de estatísticas consomem muitos recursos e muitas vezes não são realmente necessários/utilizados.
O Akismet já vem com o próprio WordPress, hoje em dia sim é necessário ter alguma medida antispam.
Em vez do WPForms, eu recomendaria o Contact Form 7. Muito mais leve para um site otimizado. Embora seja verdade que requer mais conhecimentos de programação.