Tienes razón compañero, no es necesario enfocarse en lograr un 100% pero corrigiendo un poco, Google si toma muy en cuenta la velocidad de una web para posicionar, muchas web pueden tener contenido de calidad y con muchos enlaces entrantes, pero dime ¿Cuantas personas crees que van a querer esperar a que la web cargue? no muchos verdad, en su mayoría se irán de la web y no esperaran que esta cargue aun sabiendo que tiene contenido de calidad, lo cual se traducirá en un alto porcentaje de rebote y Google tomara tu web como irrelevante y por lo tanto Google no te posicionara como quieres, pues Google se centra en la experiencia del usuario Y no todo es contenido y enlaces 😉