cada up-date de Google me recuerda cuando se acercaban los exámenes en la escuela, el que había estudiado y seguido "las reglas de juego" no temía lo que se avecinaba, pero el que había remado contra corriente estaba temeroso y había incertidumbre.
creo que si siguen las recomendaciones que el mismo Google te da no hay nada que temer, y puede haber maremotos y tsunamis y tu web no se verá afectada si sigues los lineamientos que te sugieren
ahora bien, hablando específicamente de Core Web Vitals se ha venido hablando mucho del tema, si alguien en todo este tiempo no ha tomado medidas entonces ahí si ni como ayudarle, si vez que va a llover y no sacas el impermeable entonces no te quejes de mojarte
optimizar o morir