Eso es un subdominio y se crean en el panel de control que te da tu hosting. Cuando creas un subdominio también se crea una carpeta a la cual puedes entrar utilizando ftp y es allí donde tienes que subir los archivos de tu foro para instalarlo. Si ya lo tienes instalado, entonces crea el subdominio y mueves todas las carpetas de tu foro para alli. El foro sera accecible des de forum.tusitio.com o tusitio.com/forum No estoy seguro de esto pero debe funcionar.
Para los subdominios, no todos los servidores web te permiten crearlos, algunos te permiten crear cierta cantidad y otros de dejan crear los que quieras. Si no encuentras alguna opción en tu panel contacta a tu servidor y les preguntas si es posible para tu web.
😉