A mi me pasó que cambié mi dominio de Wordpress a blogger (por presupuesto :grumpy🙂, con un PR3, claro que perdí todo, trabajé el dominio por casi un año y a pesar de haber tenido una queja DMCA al dominio principal, es decir google no muestra los resultados de búsqueda de mi dominio.com, e logrado recuperar un PR1, ya es algo además de aumentar las impresiones diarias.
Con calma, trabajada en tu dominio.com y verás los resultados, suelte tardar pero con constancia lo conseguirás. y cuando te dijeron que SI quieres vuelves a blogspot.com y trabajar a la vez tu dominio.com, me parece buena opción y podrías enlazar con tus post mas visitados del blogspot a tu dominio ("generandole algunos enlaces de peso").