Claro que es normal. Si es que tu sitio es nuevo, al comienzo va a bailar bastante. Pero si tiene tiempo, entonces preocúpate por revisar las directrices de calidad de Google porque puedes estar yendo en contra de las reglas y Google le esté restando importancia.
Sin dudas los cambios de posicionamiento dependen de lo que hagas en tu web, pero solo en parte... no olvides a tu competencia, ellos también deben estar "luchando" por conseguir un mejor lugar en los resultados de Google 😉