Creo que detectar tu problema es bien sencillo, lo que puede costar un poco de trabajo es reparar ese problema.
Bajo tus datos mencionados, puedo decir que simplemente fuiste afectado por esa actualización desde el punto de "devaluacion de enlaces", digamos que no se considera una actualización desde el punto de vista especificamente técnico, los links son devaluados cuando no cumplen con los requerimientos que Google cree que son los más adecuados, quizás tus enlaces tenían poco contenido alrededor de ellos, entre algunas variables.
Te dejo un enlace que te puede servir:
Penguin 3.0: What Got Hurt, What Didn't, and 3 Things You Need to Know to Remain Relevant | Microsite Masters
Y una cita para que entiendas un poco de a lo que me refiero:
Saludos,