Recomiendo primero quitar esos backlinks, que a largo y corto plazo te afectara.
Segundo, no es que suba o baje posiciones, lo que importa son las keywords que te dan más visitas, si suben o bajan. Da igual si baja una keyword que solo te da 3 visitas diarias, que otra que te puede dar 100 visitas diarias.
Tercer, si has hecho algo "ilegal", deberias tratar de arreglarlo: Usar contenido duplicado, curado, spinneado, seo black hat, manipulacion en la ctr, contenido de baja calidad, contenido de buena calidad pero no retiene a los usuarios, tematicas algo delicadas, etc.
Cuarto, al final Google Webmaster te puede dar ideas, mira que Keywords son las top y si dejaron de enviarte visitas a esas o si llegan pocas y luego analizas la posicion donde se encuentran y si se movio.
...