Vocês têm razão no fundo da questão, e acrescento uma nuance que costuma faltar nessas conversas: a nota do PageSpeed mede uma visita em laboratório, não o que acontece quando seu site tem 200 pessoas dentro.
Três coisas que quase ninguém separa e que explicam 90% dos casos:
1. Landing e aplicação não se medem da mesma forma, e tudo bem. Se a aplicação está atrás do login, o Google não a indexa e a nota dela não afeta seu SEO. Não faz sentido sacrificar o app pela nota de uma tela que os buscadores nem veem. O que vale a pena cuidar é a landing e as páginas públicas, porque essas sim ele rastreia.
2. Em um site real, a nota é movida por quatro coisas (por ordem de impacto): o TTFB (que é o servidor: PHP-FPM mal dimensionado, banco de dados sem índices, sem cache de objetos), o LCP (a imagem ou o bloco principal), o TBT (scripts de terceiros, e muitas vezes são só dois ou três) e o CLS (reservar o espaço das imagens e dos banners). Dá para ter um front impecável e um TTFB de dois segundos: aí não há front que resolva.
3. Meça com dados de usuários reais, não só com a nota. A nota serve para detectar problemas, não para se gabar. O que importa é o dado de campo (usuários reais), e aí se vê se o problema é pontual ou de verdade.
O erro clássico, e já vi isso muitas vezes: brigar com o CSS e o JavaScript durante dias quando o gargalo estava no servidor.