Muy buenas, los VPS de Linux es extremadamente sencillo, la forma de entrar es SSH. Si quieres algo estilo FTP, lo que necesitas es un programa como WinSCP, es gratuito, lo instalas metes los datos que normalmente el nombre del usuario será "root" y ya, entras como si fuera FTP. Para ejecutar programas o hacer actualizaciones, etc, es el simple SSH, instalas Putty y desde el podrás entrar, son programas un poquitín avanzados así que te recomiendo que mires tutoriales por internet para poder manejarte cómodamente, una vez que te has hecho verás que es sencillo y potente.
Saludos!
Por cierto! Cada vez que reinstales el sistema operativo desde el panel de OVH la contraseña del usuario root cambiará, eso y todos los archivos se borrarán lógicamente. Suerte!