Puedes eliminarlo de las siguientes formas:
1. Por FTP, entrando a través de un Cliente FTP.
2. De la forma que mencionaste, por el Administrador de Archivos.
3. Si lo instalaste con un auto instalador, ej Softaculous, es posible hacerlo a través del mismo.
4. Solicitando al proveedor que haga esto por ti asi de simple jaja, esto es de personas muy nuevas.
5. Que te hackeen el sitio web jjj... Una vulnerabilidad que le permita al hacker hacer esto y estas fuera.
Que yo sepa ya no existen más formas ni alternativas ni tradicionales.
Saludos !