Hola,
Si manejas tu servidor, podrías intentar instalando algun sistema de cacheo, como xcache. Te recomiendo el addon
vB Optimize, que aunque es bueno usarlo con un sistema de cacheo, igual te deja usarlo sin eso y te ahorra consultas a la db.
Trata de darle mantenimiento a tu base de datos mas a menudo, optimizar y/o reparar tablas. No utilices addons que consuman muchos recursos del servidor, como chatboxs entre otros. En general, no instales demasiados addons, que eso alentan el foro más de lo que podrían ayudar.
Si usas los bloques de foro para mostrar últimos temas y contenido relacionado, trata de que no muestre muchos resultados y que todo eso este cacheado. En las opciones de cada bloque existe una opción para poner el tiempo que estará en caché. De esa manera no estarás haciendo consultas a la base de datos muy seguido.
Si tu hosting es algo lento, te recomiendo que cambies a un skin con menos gráficos, algo más simple. Así te ahorras transferencia, y no va tardar mucho en cargar todo al usuario.
Es lo que se me ocurre, espero que alguien más profesional en el asunto te de mejores consejos