Converter página HTML para PHP em site de WordPress

Tengo una página en html que hice, pero quisiera convertirla a un archivo php de wordpress para que cuando entre a mi sitio web, pueda entrar como si fuera un página.

Lo que no quiero es tener que recurrir a hacer una página desde mi panel de admin de wordpress e incrustar un iframe o poner el html en un bloque.

Es una tarea posible, basta convertir el archivo a PHP y a las funciones del tema, añadirles un hook para que cuando se escriba determinada url lleve a dicha página

Puedes crear una página en la sección correspondiente y usar page-<slug>.php en la carpeta de tu theme para incrustar la página, ya ahí ves si clonar la página genérica de tu theme para añadirle el header y footer de WP (get_Header y get_footer), o solo pegar el html allí en ese archivo