Tendrías que revisar si tus hacks ya tienen actualizaciones para esa versión de vBulletin. O leer los temas de dichos hacks para ver si hay usuarios que tienen problemas con dichos hacks usando la nueva versión de vB.
Para actualizar de vB4.0.8 a 4.1.1, solo tienes que subir todos los archivos nuevos que hayas descargado sobrescribiendo todos los que ya existen de tu foro, supongo que esto lo sabes.
Los hacks es probable que no te funcione más de alguno, y si es uno que es necesario para tu foro entonces te recomiendo investigar si hay actualizaciones, o si realmente funciona bien con vB4.1.1 antes de actualizar.