Eso es relativo... ya que incluso los usuarios que no ven los anuncio comparten contenido, crean enlaces de forma gratuita y natural en otras webs o se vuelven habituales al sitio. Pueden no generarte dinero de forma directa, pero sí al atraer otros usuarios.
Es un arma de doble filo. Yo probaría bloqueando por dos semanas para ver si hay un aumento de las ganancias, si crecen lo dejo, si siguen igual o bajan lo quitaría.