Ambos son modelos de negocio bastante viables, el tema es saber explotarlos correctamente y no ser uno mismo el foco del problema, ya que suficiente tendrás con los líos que te hará la gente mal intencionada.
Yendo por el camino de las licencias, no detendrás a los ladrones y aunque el código esté ofuscado o haga algo peor como que el uso de licencia penalice a los verdaderos compradores. Por otro lado, hay gente que siendo abierto preferirán perder muchísimo tiempo antes que pagar por soporte porque así "les sale gratis" (como si el tiempo no contara como valor), pero con el uso de licencias te comprarían y si les muestras un buen soporte estarán contentos con su compra y pueden volver a comprarte otros productos o contratarte para trabajos.
Yendo por el camino del código abierto, te puede ayudar a ganar mucho alcance en poco tiempo si el producto es bueno y de hecho tampoco es que se diferencie mucho del modelo de licencias: Solo das soporte a la gente que te pague por el mismo (evita dar soporte gratis, esto no es de ser bueno o malo, es de comer o regalar tu comida), te ahorra peleas en paypal con la mayoría de los ladrones y aunque en un pricipio debería reducir tus ventas, si logras conseguir suficiente alcance (un buen producto), entonces las ganancias deberían ser superiores. Desde luego, esto igual atraerá a otras ratas indeseables, como los típicos que camuflan peticiones o solicitud de soporte entre lamidas de botas, los que dicen que tu trabajo es basura, etc. Todo porque no quieren pagar y quieren tenerlo todo gratis, como si fuera un honor para ti que ellos usen tu software.
En ambos habrá alimañas y hay que tener cuidado siempre de filtrarlas sin perjudicar a los verdaderos clientes. Si no tienes tanta experiencia tratando con clientes, ve a por las licencias, eso reducirá tu alcance y te permitirá tomar experiencia.
kj