Habría que ver la web para poder decirte con exactitud.
Yo trabajo con ambos CMS. Los sitios más sencillos los tengo en WP,los más grandes en Joomla.
Si tu web es un blog simple, con uno o dos menús y lo vas a replicar tal cual lo tienes en Joomla pero en WP, probablemente el cambio te beneficie. WP, al ser más liviano también suele tener mejores tiempos de carga y eso a la larga te beneficiará.
Pero si tu web es un sitio grande, con múltiples menús por categorías y múltiples elementos de menú para un único artículo para poder pasarla a WP vas a necesitar simplificar mucho la estructura interna del sitio y eso a la larga te va a perjudicar.
Insisto, habría que ver la web para poder decirte...