Seguramente por ahí está el problema. He probado casi todos los plugins de cache, el que más me ayuda es WP-Rocket. Pero esto de las caídas y el tiempo eterno que pasa en publicar un vídeo nuevo (cuando no se cae con 500) supongo que se debe a la plantilla o algún plugin heavy como el de reproductor personalizado (de autoría de un colega muy bien reputado acá en el foro).
Se que hay empresas de hosting que ofrecen paquetes especiales para wordpress y que han tuneado sus máquinas y software justo para los requerimiento de WP. Entre ellas en visto inmotion y bluehost. Como decía, antaño en las buenas épocas podía permitirme un VPS pero creo que 2000 visitas por ahora no lo justifican.