Déjame decirte que sí, hace unos años a mí me hackearon de esa forma, entraron a mi PC mientras yo fui a la cocina a preparar algo y cuando regresé, se apoderaron de mis cuentas, incluso dejaron sus rastros en el historial del navegador. Todo esto sucedió momentos después de haber entrado a jugar Dragonbound, al parecer jugué una partida junto a un hacker, y ahí se creo el vinculo donde él pudo obtener mi IP y proceder con todo lo demás.
Luego hice todo lo posible para recuperar mis cuentas, averigué y demás, y pude recuperar mi facebook y además averigué como lo había hecho, y de curioso estaba intentado aplicárselo a otras personas, pero luego parcharon esa vulnerabilidad que había en Dragonbound, porque los datos que recopilaba ya aprecían encriptados. (Uno de los programas con los que se podía conseguir el IP y otros datos, era WireShark o algo así)
En conclusión, parece que no solo basta con que sepan tu IP, tiene que haber una conección entre tu hacker y tú, algo que los vincule.