Yo e estado investigando entre esos 2, sin embargo llegue a la conclusión de que si es un proyecto que inicia desde 0 entonces no te convine Vbulletin (no vale la inversión) este es bueno debido a sus múltiples plugins y a la construcción de su script, ademas algunos consideran que para un foro es el mejor ambientado al SEO (pero esto sale por la ventana si los usuarios crean temas de 50 palabras)
MyBB es gratuito, tiene muchos plugins que puedes instalar para convertirlo en un mini Vbulletin y es menos pesado que vbulletin en cuanto a procesos y carga del servidor.
A mi parecer Vbulletin es buena opcion si tienes dinero para comprar la licencia, tema, servidor y plugins necesarios, ademas de redactores (solo para un proyecto que quieras explotar en grande). En cambio MyBB puedes llevártela tranquila dejando que los usuarios se familiaricen con la plataforma y conforme avance el tiempo y tu foro sea tan grande que necesites un VPS de gama media entonces ya puedes ir pensando en migrarlo a Vbulletin.
saludos :encouragement: