Si el subdominio y el dominio están en diferentes carpetas, tendrás que crear un nuevo robots.txt en la carpeta del SUBDOMINIO, NO sustituir el del dominio principal. Con algo así:
User-agent: *
Disallow: /
Si están en la misma carpeta, es algo más complicado y hay que "crear" otro robots.txt (robots-forum.txt lo llamaremos) para el subdominio mediante .htaccess... algo así:
<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_HOST} ^forum\.dominio\.com$
RewriteRule ^robots\.txt$ robots-forum.txt
</IfModule>
En cualquier caso, lo primero es que durante un par de semanas apliques la metaetiqueta noindex a todas las páginas de foro, ya que si primero bloqueas, el robot no leera ese noindex.:encouragement: