A menos que estés en la misma red NAT* no podes... es eso o activar la "remote management console" que te permite habilitar el acceso remoto pero usualmente viene en los últimos modelos de modem-router, tendrías que ver si está disponible y en el caso de estarlo, recuerda ponerle otra contraseña a la sesión que no sea la que trae por defecto
Lo de la red NAT supongamos que es 192.168.1.1 el puerto de enlace, y vos intentas desde 150.150.150.150, obviamente no te va a dejar porque ni siquiera está en la misma numeración, necesitas si o sí estar con una "conexión hija" desde 192.168.1.2-254 para poder acceder, pero con la RMC podes hacerlo externamente y se deshabilita el bloqueo, o bien podrías intentar configurar el firewall para que admita tu dirección IP como la RMC, con eso ya limitarías el uso para vos solo