Mira yo soy nuevo en esto pero creo que he entendido algo:
Google no solo toma en cuenta tu cantidad de visitas, sino también el tiempo en que esas visitas se quedan en tu sitio. Si entran y salen en un segundo es como un punto malo para ti. Si entran y se quedan cierto tiempo, es un punto bueno. Si además de quedarse en la página donde aterrizan, dan más clics dentro de tu sitio, mucho mejor para ti porque eso le dice a Google que tu contenido es relevante y que cuentas con contenido relacionado al tema.
También cuenta mucho que otro sitio te cite como fuente en un tema relacionado y que tu ligues a otros sitios de autoridad porque eso de alguna forma a Google le dice que estás "en el mismo canal" que los sitios reconocidos.
En resumen, no todo son número de visitas sino lo que Google percibe de tu contenido y de como inconscientemente tus visitantes te califican:topsy_turvy: