Si no tienes acciones manuales, y no tienes SEO negativo que no es complicado analizar, es posible que tengas algun problema con el hosting, la carga de algun recurso, o que Google te haya echado para atrás por sobreoptimización. Si no tienes penalización clara, es posible que sea lo último.
Saludos