Tienes que pasar el pagespeed por tu web y verás qué falla. Es lo que ya he dicho más de una vez, probablemente la puntuación que tengas en pagespeed sea alta pero luego las core web vitals que pone debajo de la puntuación, estén mal, que es lo que cuenta. En tu caso, por lo que pone en tu captura de pantalla es problema del CLS, que significa la estabilidad visual... Es decir, como se mueve tu web mientras carga.
Por ejemplo, si tu theme usa una fuente personalizada cuando el navegador termina de cargar la fuente, el texto cambia de fuente y lo notas, sobre todo cuando no tienes la web en cache, eso, dependiendo del caso, crea una mala puntuación CLS.
Otro caso que se suele dar es la publicidad... Si la publicidad aparece de repente sin haber reservado una altura minima, pasará.
Un ejemplo en imagen:
Otro caso puede ser las imagenes de tu web, que todas, incluido el logo deben tener los atributos width y height en el HTML y no solo en el CSS.
Todo esto se resume, que con esta métrica google busca que los usuarios no den clicks accidentales en algún objeto de la web, porque justo cuando le den click termina de cargar la web y aparece algo de repente y mueve las cosas, con lo que el usuario da click en algo que en realidad no quería darle.
En cualquier caso tendrás que tocar bastante código seguramente... Pero dudo que sea solo por es oque haz caído tanto, será los movimientos de google que hay últimamente en Google.