Como tú bien dices, el tema de la velocidad de carga no es más que uno de los muchos factores que Google tiene en cuenta a la hora de posicionar tu web. Obviamente un tiempo de carga bajo tiene una importancia crítica en el impacto de tu sitio pero, siempre y cuando te mantengas dentro de los límites de usabilidad razonables, décimas arriba o décimas abajo no te afectarán en absoluto.
Personalmente siempre que he acometido el rediseño de un sitio web mis estadísticas en Speed Insight se han visto perjudicadas pero entiendo que esto es algo normal. Al fin y al cabo los proyectos crecen, se hacen nuevas implementaciones, hay más código, más funcionalidades, mas scripts, más css...
Si las cifras de tu nuevo proyecto son considerablemente inferiores a las del actual, antes de hacer el cambio yo intentaría analizarlo bien y averiguar las razones y su posible solución. Si la diferencia no es mucha lo que haría sería cambiarlo directamente y luego ya con calma lo iría optimizando. La mayor parte de las veces, con un poco de trabajo extra, se pueden conseguir grandes mejoras en Speed Insight.