Si tu sitio participa en un programa de afiliación, asegúrate de que aporte un valor añadido. No participes en esquemas de enlaces destinados a mejorar la posición de tu sitio o a manipular los resultados del algoritmo PageRank en tu favor. Evita en concreto los enlaces a emisores de spam o "vecindarios indeseables" de la Web, ya que estos enlaces podrán influir negativamente en tu propia posición.
Si tu no lo hicistes quizás alguién esta haciendo mal uso de las palabras clave y está compitiendo contigo, como dice elnuma1986, puedes perder posicionamiento, pero pronto lo recuperarás, es cuestión de que busques la palabra clave que te está bajando, si es solo una o pocas similares no te preocupes, pero si son varias diferentes, quizás te han sancionado