Normalmente el gran dolor de cabeza de WP son los plugins, ya que muchas veces no están optimizados o actualizados o tienen un orígen de dudosa reputación ... por lo tanto mientras menos plugins MEJOR.
Ya te consultaron previamente sobre la optimización del servidor, en el caso de WP y en general casi todos los CMS es CRITICA la optimización de MySQL ya que casi todos los CMS hacen un uso muy intensivo de las bases de datos, según mi experiencia en más del 90% de los casos MySQL no está bien optimizado, no basta con copiar configuraciones usadas por otros ni sacarlas de un manual, la optimización de MySQL debe ser específica para cada servidor ya que depende mucho de los recursos disponibles y principalmente del tipo de tablas y BD que se están utilizando, tampoco es llegar y asignar cualquier tamaño a los buffers de MySQL ya que si sobrepasas la memoria disponible el colapso puede ser peor ... además la idea es ir monitoreando el uso de MySQL en el tiempo ya que usualmente hay que ir reconfigurando el servidor cada cierto tiempo.
Es muy importante también analizar el archivo de logs de MySQL, en muchas ocasiones una sola consulta mal hecha puede ocasionar un gran retardo y con eso el resto de las consultas comienzan a quedar en la cola de espera ... normalmente hay tablas NO INDEXADAS o muy mal indexadas y con solo habilitar el indice correcto esa consulta se puede acelerar cientos o miles de veces.
En otras ocasiones una tabla MyISAM que tiene demasiadas modificaciones hace que colapse casi todo el sistema ya que no se permiten en este tipo de tablas 2 modificaciones simultáneas ya que se produce un bloqueo a la tabla con cada modificación ... pero si esa misma tabla fuera InnoDB se pueden realizar múltiples modificaciones en forma simultánea, el inconveniente de las tablas InnoDB es que consumen mucha memoria, pero con 8 Gb eso no debería ser un problema.
Hay muchísimas otras cosas que considerar, incluyendo el handler o manejador de PHP ( CGI, DSO, SuPHP, FCGI ), con algunos de ellos los aceleradores como eaccelerator o xcache simplemente no funcionan.
O el tipo de discos utilizados en el nodo de hardware, no es lo mismo usar discos SATA, SAS 15k o SSD ... y si usan RAID-10 tambien influye la cantidad de memoria cache de la controladora RAID, se podría analizar un poco el rendimiento del sistema de discos ya que en muchos casos el cuello de botella está en el I/O.
Otro punto que más adelante puedo comentar más detalladamente es la famosa CPU Priority donde incluso sistemas virtualizados con Xen te pueden estar asignando hasta solo un 10% de la potencia total de cada core, por lo tanto también habría que analizar la "potencia real de cpu" asignada a tu VPS, si es insuficiente podrías seguir agregando memoria y el problema seguiría siendo exactamente el mismo.
Si hay mucha carga de imágenes por ejemplo, en ese caso es recomendable utilizar un CDN que se pueda integrar en forma muy simple con WP, con eso reduces significativamente el tráfico y la carga al servidor y de paso aumentas la confiabilidad al distribuir y balancear la carga de las imágenes.
Según mi experiencia en todo caso apostaría a que con una buena optimización de MySQL el VPS debería funcionar sin problemas ... por si acaso ya he trabajado con sistemas con alta carga de MySQL con más de 25.000 usuarios simultáneos o con más de 2 Tb de tráfico mensual y han funcionado perfecto utilizando solo VPS's y con menos de 8 Gb de RAM.