Si subes el memory_limit consumiran más ram, ya que se lo estas permitiendo, el tema es normal y a la vez no lo es, o sea suele pasar pero es por que en tu web tienes algo que , consume esa RAM; por eso te digo que primero revises la web, plugins y scripts que tengas que seguro encuentras ahí el problema antes que viendo el servidor, ya que la RAM la esta consumiendo tu web.