el archivo robot.txt es un estándar de los buscadores mi querido daniel y el contenido es este mira:
puedes decirle a google que no indexe algo en especifico.
User-agent: *
Disallow: /cgi-bin/ un directorio.
Disallow: /tmp/imagen.jpg una imagen
Disallow: /borrador/index.php una pagina.
Solo lo subes a tu servidor en tu carpeta raiz y eso es todo, ahora si daniel espero haberte ayudado.
Alexander Mendoza