Yo ahí lo que veo es totalmente lo contrario a lo que tú dices.
Te está diciendo que en sitios pequeños NO hay datos de usuarios reales, porque no tienes tráfico y por eso no pueden usarlo como un factor más, es de lógica... En cambio, cuando tu web tenga algo de tráfico y obtengan datos reales, sí lo podrán usar.
Está clarísimo que no será un factor que haga que tu web vaya hacia abajo, pero lo que también está claro es que si tu web es más rápida que otras, los usuarios acabarán más tiempo en tu sitio y eso si mejorará el posicionamiento.
Todo es cuestión de sentido común.
Yo tengo webs subiendo sin parar que cumple sin problemas core web vitals, y tengo otras que NO, también suben pero sin embargo noto como suben más las que sí lo pasan.
Así que como no me cuesta nada hacerlo bien, siempre lo hago bien.