Hola,
Pienso que en lo que más debemos cuidarnos es en no abusar de los directorios. Si existen, también es por una razón. Con un score de spam de 2/17 no creo que te afecte... ¿Cuáles son los indicadores de spam? Es decir, ¿qué dicen?
Y por otro lado, el tema no es solo revisar la cantidad de backlinks sino el perfil de esos backlinks. Eso te puede dar una idea o una respuesta del porque de la caída.
Digo, no es la única acción que llevarías a cabo con tu Web. No puedes de todas formas "vivir" de enlaces de directorios. Pero más que por los enlaces, yo me fijaría muy bien y optimizaría al máximo el SEO on-page. El enlazado interno, antes que el linkbuilding como tal.
¡Suerte con eso!