Se hace lento. Es casi inevitable ya que algunos son necesarios para una correcta optimización si necesitas centrarte en el contenido y no morir revisando y añadiendo código (all in one,platinum,headspace,contact form,sitemaps,wp secure,nextgen,...). En muchos servidores compartidos multidominio, he notado que en horas punta se va todo al traste de tanta consulta a la base de datos (también pueden influir tus "vecinos" alojados). En un VPS, aunque parezca que te va a dar más estabilidad vas a tener que gastar más plata en ampliar la RAM porque sino un solo sitio también te puede dejar K.O. Menos mal, que el wp-super cache, fast cache o el db-cache ayudan un poco a descongestionar al procesador pero tienen que estar bien configurados. Si tienes muchas imágenes o ofreces archivos tales como pdf,flv,avi...piensa también en alojarlos en sitios como S3 o Rackspace (aunque por lo que veo en otras webs, de momento, no sale tan barato como parece, eso sí, te evitará pagar excesos de transferencia mensual).