Al principio es normal que las visitas bajen, eso le sucede a todo el mundo que hace un cambio de plataforma, es mejor haberlo hecho antes cuando el blog está empezando, que posteriormente cuando tuviese más tráfico, puesto que la caída podría ser más drástica. El tráfico se recupera de forma natural, pero si quieres acelerar el proceso, publica artículos de calidad asiduamente e intenta conseguir más backlinks para tu blog. Pasar de blogger a WP no es ningún error sino todo lo contrario, has tomado la decisión acertada si pretendes ir en serio con él.