Pienso que no hay una respuesta definitiva sobre lo que preguntas en este tema, solo te puedo decir que Google penaliza con frecuencia por enlaces y sobreoptimización, no se de casos que se penalice por visitas de cualquier tipo, si alguien sabe de un caso agradecería nos lo compartiera para saber.
Una explicación que se me ocurre sobre la causa de las visitas es que tu dominio es el responsable, posiblemente el dominio tiene un nombre parecido a alguna marca y algunas personas colocan en el navegador el nombre con el .com por error. Y otra causa puede ser el spam, tu url fue "spameada" y ahora es detectada por softwares automatizados que son los que hacen las visitas desde diversas IPs.