De antemano, debes saber que todos los sitios web que corren en tu navegador están hechos en HTML.
Porque HTML, CSS y Javascript son el frontend, es decir, lo que aparece en el navegador.
El hecho de que un sitio web esté en WordPress no ralentiza su velocidad de carga.
Lo ralentiza la cantidad de librerías de Javascript, las múltiples peticiones a recursos externos como fuentes de Google, fontawesome y la cantidad de hojas de estilos (css) que debe cargar según la cantidad de plugins que tengas instalados (muchos plugins vienen con sus propias hojas de estilo).
Cada uno de estos pequeños detallitos va sumando y sumando al tiempo que tarda en cargar tu sitio web.
Comprime tus imágenes, comprime tu código y evita el exceso de peticiones a recursos externos.