Para un escritorio remoto lo mejor es un RDP. O ya que estás con ese VPS ve si le puedes instalar Windows desde su panel de administración (aunque por lo general no traen la opción o se encarece el plan). Hacer lo que quieres en Linux sencillamente no es recomendado ni siquiera instalando un entorno gráfico (desde mi punto de vista, principalmente por los programas a emplear). El Putty es para hacer una conexión ssh, pero estarías en un entorno de consola, y si no sabes nada sencillamente estás de manos atadas. Mi consejo es que emplees este VPS para aprender y si tienes la disponiblidad económica te compres un RDP, por unos $6 puedes conseguir uno decente.
PD nuevamente: ¿Dónde compraste el VPS? :distant: