Desde mi punto de vista la carga mobil depende mucho de si la publicidad (anuncios de adsense), yo estoy montadome un blog con un theme supersencillo modificado a mano, sin publicidad me da sobre los 82 en mobiles y mas de 97 en escritorio, y ya agregando los códigos de anuncio en mobil me baja hasta los 74/76 y en escritorio queda sobre 90.
Cabe mencionar que utilizo plugin de cache, todas mis imágenes están comprimidas y en mobiles esconda la sidebar, siempre me quedan esa métrica. Siento que no hay que preocuparse tanto por esa puntuación, con que el blog pese poco y cargue rápido es mas que suficiente.
De igual manera optando por una combinacion de plugin de cache + CDN + Cloudflare la puntuación puede mejorar bastante.