No es imposible en absoluto, el solo hecho de cambiar el atributo <h> en los titulos de un theme te puede hacer perder o ganar cientos de visitas, si el theme anterior lo tienes bien optimizado te puede estar dando muchas visitas y mejor posicionamiento, si el nuevo theme no esta tan bien optimizado o simplemente la estructura del codigo fuente sea muy diferente al anterior puede hacerte perder posiciones sobre todo para el long tail y perder asi muchas visitas de golpe.
Nada es imposible y menos cuando tocamos el codigo fuente, lo que yo digo siempre es "si algo funciona ¿para que tocarlo?"
Un saludo