No se trata de cuantos menos tengas mejor. Tu sitio debe ser lo bastante completo que pueda, eso sí, los plugins deben de estar lo máximo posible bien optimizados ya que algunos hacen que el sitio sea un caos, sea lento o no funcione correctamente la web.
Yo tengo de algunos clientes más de 100 plugins, cada uno con su VPS de de 8GB de ram como mínimo, un buen procesador y discos NVMe de última generación a fecha de hoy. Todos son comercios electrónicos grandes. Teniendo bien optimizado el servidor, el wordpress y las consultas no hay ningún problema.
El problema que hace lento la mayoría de las veces a Wordpress,
es que el 98% de los plugins se basan en la tabla wp_post y al estar consultando todo en una misma tabla hace que
se vuelva todo mas lento. Aunque muchos plugins ya están teniendo algunas configuraciones aparte.
Depende del sitio web, es recomendable una configuración u otra. También sea el sitio que sea, siempre recomiendo que tanto la web como la base de datos tengas una caché, para que todo vaya mucho mas liviano y más rápido a la hora de la navegación en el sitio web.
Sobre WP Rocket es el que mejor te recomiendo, lo único que
no te recomiendo sobre el es la "Pre-carga" del sitio de web, ya que esto he comprobado que sea cual sea el tipo de negocio, siempre me tiene un pico en el procesador del servidor y no es bueno, ya que puede dejar al sitio web inactivo o interrumpir alguna petición de algún navegante por falta de recursos. Por lo demás, funciona perfectamente.
Te recomiendo que los sitios webs que crees el funcionamiento de php sea entregado por nginx ya que vas a experimentar una velocidad en la web bastante brutal. Eso si, que no se olvide activar previamente la configuración de entrega de ficheros estáticos en carga, esto ayudará mucho también para ficheros bastantes grandes. Más información
https://raiolanetworks.es/blog/nginx/
También es recomendable que lo pases por alguna CDN, en este caso puedes usar
https://www.cloudflare.com/