Claro que influencia.
1. É claro que você pode ter o melhor conteúdo do mundo, mas um usuário não vai esperar mais de 5 segundos para carregar uma página. Simplesmente sairá e isso contará como rejeição.
2. Experiência de usuário móvel. Há celulares que nem sequer carregam se o site for pesado demais, simplesmente saem na metade.
3. Uma boa estrutura permitirá que o Google bot possa passar rapidamente pelas suas páginas, assim você otimizará o tempo que ele dedica a cada página. Dando tempo de indexar mais páginas.
Em si, a velocidade web é resultado de muitas coisas, não só o peso das suas imagens. Pode ser um mau funcionamento de um plugin. CSS desnecessários ou sem minificar, ou seja, milhares de coisas. Se você deseja um bom posicionamento, um bom design e experiência de usuário é essencial. Afinal, suponho que seu objetivo é converter visitas.