Si ayuda muchísimo, una carga rápida le brinda al usuario satisfacción y buena experiencia de navegación.
En lo personal me da estrés cuando un sitio tarda más de 15 segundos en cargar completamente, aunque en algunos casos (paginas de vídeo) soy más tolerante.
Ayuda a la experiencia y te da mucha información sobre que aspectos debes mejor de tu sitio en cuanto s rendimiento pero NO a posicionar. Un sitio mal score puede estar mejor posicionado que el tuyo asi que no te obsesiones.