Es difícil para Google, y en esto del posicionamiento local la verdad es que está habiendo muchos cambios en los últimos tiempos.
Lo cierto es que cada vez le resulta más fácil a Google geolocalizar cada reseña, y si no están haciendo ya, no tardarán mucho en darle mucho más peso a aquellas reseñas cercanas al negocio.
Por otro lado Google cada vez sabe diferenciar más y mejor las pecualiaridades de cada sector, y por ejemplo para un restaurante o una gasolinera, todo esto tendrá mucho sentido. Sin embargo, en otros negocios, como una tienda de ropa, que también puede vender online, todavía le queda camino a Google para tomar decisiones drásticas al respecto conlas reseñas.
Por tanto, desde mi experiencia, a día de hoy, no creo que las reseñas penalicen (al menos dentro del mismo país/idioma), y simplemente tendría cuidado especialmente si el sector del negocio es específicamente loca, como pueden ser los restaurantes.
Saludos!