Si, puede afectar pero en la mayoría de los casos no, cuentanos tu caso, qué pasa con tu sitio, en general tarda cada vez más en indexar un sitio, pero por otros motivos, precisamente porque sin son nuevos tienen que tener contenido que le interese al usuario, no a Google y seo interno, etc. Ahora que me acuerdo han dicho que podía afectar al SEO cuando estás en esos hostings compartidos que meten en ips similares blogs porno o de casinos, etc. Eso si, deberías hablar con tu host.