Hola.
Hay varias diferencias, pero las principales:
-vBulletin es una plataforma de foros de pago, es decir, para obtener una licencia (Legal), debes pagar dinero. Creo que la versión 4.0 cuesta unos 199$ (Versión básica) y unos 280$ la versión con una plataforma para foro y para blogs de usuarios. A nivel de personalización, mods, diseños, y opciones, me parece completísimo. La pega es que a pesar de todas estas ventajas, pues supone una inversión bastante arriesgada salvo que se disponga de una comunidad de usuarios relativamente grande. Al margen de eso, actualizar el foro en versiones más modernas tras haber comprado una licencia inicial supone también un pago extra (Desconozco la cifra).
-PhpBB es un sistema de foros gratuito, pero bastante más simple e intuitivo que vBulletin, y a mi juicio, con bastantes menos opciones. Su última versión, PhpBB3 está bastante bien pues tiene muchas opciones y mods interesantes. Es la plataforma de foros gratuita más usada junto a Simple Forum Machines (SMF).
Si estás dispuesto a asumir la cantidad que requiere una liencia vBulletin y estás habituado a administrar foros, sin duda lo recomiendo. Si prefieres algo más sencillo y gratuito, PhpBB.
Un saludo.