Depende. Si el hosting no te permite acceso SSH sí, debes subir la carpeta "Vendor" y es poco óptimo porque no podrás actualizar, agregar o eliminar librerías fácilmente
Por otro lado, si tienes acceso ssh puedes entrar con Putty o algún otro cliente y ejecutar comandos shell, de esa forma podrías instalar composer. Yo utilizo composer en un hosting compartido de Godaddy y por lo que recuerdo en la gran mayoría se puede, incluso en algunos viene preinstalado por defecto, podrías conectarte via "Shell" (SSH) y probar composer -v, incluso hay hosting's que permiten conectarse a la terminal directamente desde CPanel