Que un VPS es un servidor en pocas palabras. A menos que contrates un servicio administrado, tú te haces cargo de él. Si no es administrado, el proveedor sólo se encarga de entregarte el servidor con el sistema y nada más. Tu deberás instalarle las aplicaicones web y dejarlas configuradas, además del sensible tema de la seguridad.
Así que para no ir más lejos, si no tienes experiencia con ellos te sugiero que mejor busques un VPS administrado o semi-administrado. Son más caros, pero el proveedor instala y configura todo por tí.
Si quieres ir con uno no administrado, por acá en la comunidad, entre otros Julcar, Sánchez Toledano y Skamasle ofrecen servicios de instalación y configuración.