Te dirán que no influye... pero sí, influye y depende de algunos casos, influye bastante.
Nadie quiere escuchar que es mejor pagar un servidor premium en una ubicación como Chile, por decir algo, donde un VPS te sale 2 o 3 veces más caro que uno en USA. Se prefiere obviamente pagar por el VPS de USA que te da el doble de potencia por el mismo precio, que uno en Chile o Brasil... y es normal.
Entonces de ahí saldrán comentarios como que apenas se nota, puede influir un poco y que la diferencia de latencia no es tanta. Y sí, la latencia de un servidor en Miami es de 100 o 120 para Chile por ejemplo, pero eso hablamos de latencia. En casos reales para un usuario real, tenerlo en Brasil con respecto a tenerlo en USA, la misma web, te tarda +400ms en cargar. Y obviamente eso influye. Influye en que los usuarios tengan un mejor Pagespeed Score y es al final el PageSpeed real de los usuarios lo que se tiene en cuenta.
El otro día mismo hice una copia de la misma web, una en Brasil y otra en Miami, y la diferencia de carga era de 420ms y el pagespeed score bajaba de 100% a 95%...
Ahora claro, lo que se quiere oír y lo que es verdad, no hace falta que esté en Brasil para posicionar en Brasil, pero tenerlo en Brasil para posicionar en Brasil obviamente influye sea poco o mucho, influye. Obviamente si comparamos el PEOR servidor de Brasil con el MEJOR servidor de Miami puede que siga gane el de Miami, pero hablamos de casos realistas.
Por otro lado, entre tenerlo en Alemania o Amsterdam es diferencia mínima si sirves para usuarios europeos, ahí sí que no es tanta la diferencia como entre sitios como Latam y USA o sitios de Asia. Es decir, si tus usuarios son 100% de Brasil, obviamente es mejor tenerlo en Brasil. Si tus usuarios son globales, pues o usar CDN o el "menor de los males" que es tenerlo en USA. Si tus usuarios son de España, entre tenerlo en España o tenerlo en Frankfurt o Amsterdam no notarás "mucha" diferencia.