Si no estoy equivocado, basta que cierres la I.P con el comando DENY.
Ejemplo:
Configurar restricciones
order allow, deny
deny from 255.0.0.0
deny from 164.13.x.x [Ip inventada]
El código sugiere bloquear las IPS fuera de rango. Si en el número final pones un 1 eso hará que el servidor apache bloquee todas las IPs, que vayan desde 123.45.6.1 hasta 123.45.6.255.
Si prefieres dejar la tuya activa (IP) y bloquear el resto:
order allow, deny
allow from 123.45.6.7*
deny from all
Espero sea sencillo de entender. Viene a ser lo mismo que bloquearlo en un router para que no te roben el wifi. 🙂