guarda el documento con el nombre de 'robots.txt' y subelo a la raiz de tu hosting y asi ningun rastreador de buscadores entrara a tu sitio y no indexara ninguna de tus paginas.
No es magia, es un simple robots que se encarga de entre otras cosas orientar a los crawler sobre que contenido rastrear.
Aqui mas informacion sobre la creacion y uso de los robots.txt
Gracias, aunque asi lo que conseguiria seria que no indexara nada, lo que queiro es que no indexe una parte del foro ni de casualida. Creare grupos de usuarios y le pondre contraseña a partes del subforo. De todas formas gracias.
Gracias, aunque asi lo que conseguiria seria que no indexara nada, lo que queiro es que no indexe una parte del foro ni de casualida. Creare grupos de usuarios y le pondre contraseña a partes del subforo. De todas formas gracias.
Por eso te coloque los enlaces de creacion de robots de dos paginas que los explican de forma diferente pero efectiva. Puedes excluir archivos individuales o directorios completos como tambien las url que terminen o empiecen por algun termino. Esta es la forma mas recomendad para excluir contenido de los motores de busqueda.
