- Desde
- 1 Ago 2013
- Mensajes
- 2.512
Buenas forobeta, este es el primer Tutorial que realizo, no me animaba 
y ahora aquí esta el impulso . En el siguiente tutorial explicare de forma muy sencilla para principiantes que es y como crear un archivo robots.txt muy fácil. Espero que les guste y dejen sus comentarios.
El archivo robots.txt, como su titulo lo indica, respecta simplemente a un archivo de texto, el cual tiene una serie de instrucciones que los buscadores toman en cuenta a la hora de indexar o posicionar el contenido.
Este sirve fundamentalmente para todo lo opuesto que el SITEMAP, es decir, que sirve para NO INDEXAR cierta cosa.
En todas las web existen secciones internas que no interesa que sean mostrados por los buscadores, como por ejemplo secciones de Loging, carpetas con imágenes internas que no aportan nada de nada al más reciente contenido de la web o secciones administrativas. Para esto, lo que tendrás que hacer es crear un archivo robots.txt y colocarlo en la carpeta raíz de tu web. Cabe destacar que debe tener este nombre, el cual es el estándar.
Para crear un archivo robots.txt se debe tener bien en cuenta la estructura y la sintaxis, además hay que señalarle para que robot se desea que se cumpla la dicha condición, podrás tener varias configuraciones, todas en el mismo archivo robots.txt, para diferentes robots o lo que se llama "User-agent".
Ahora, pasare a comentar como deben comenzar y ser los códigos:
1. El código debe comenzar así:
El (*) es para indicar que se desea que esta condición se cumpla para cada uno de los robots, si se quiere que suceda para un buscador determinado se lo tiene que indicar así:
Cuando ya se tiene en claro a quien se desea mostrarle la información, se tiene que pensar o comprender que es lo que quiere que los buscadores no indexen. Si se trata de una carpeta, subcarpeta, de un archivo o todo (El último no es de lo más usado, a que es relevante aparecer en los buscadores):
2. El código tendría que ser así:
Hay también otras variantes para optimizar el archivo robots.txt, pero estas son un tanto complicadas de utilizar, y se debe tener mucho cuidado con su uso. Como por ejemplo, el uso del (*), ya que se sabe que sirve como comodín. Si se utiliza el "Disallow:/*palabra", todas las URL que contengan "Palabra" serán rechazadas de forma automática, si al final se pone "/*palabra", pues no se permitirá la indexación de las URL que terminen con “Palabra”
Se puede dificultar tanto como se quiera definir el nivel de acceso a los buscadores.
Espero que este simple tutorial les ayude a los principiantes, cabe destacar que es una forma sencilla de explicar como utilizar el Robots.txt y seguro hay quienes conozcan mejores formas o mas avanzada de hacerlo.
seguro halla quienes
y ahora aquí esta el impulso . En el siguiente tutorial explicare de forma muy sencilla para principiantes que es y como crear un archivo robots.txt muy fácil. Espero que les guste y dejen sus comentarios.El archivo robots.txt, como su titulo lo indica, respecta simplemente a un archivo de texto, el cual tiene una serie de instrucciones que los buscadores toman en cuenta a la hora de indexar o posicionar el contenido.
Este sirve fundamentalmente para todo lo opuesto que el SITEMAP, es decir, que sirve para NO INDEXAR cierta cosa.
En todas las web existen secciones internas que no interesa que sean mostrados por los buscadores, como por ejemplo secciones de Loging, carpetas con imágenes internas que no aportan nada de nada al más reciente contenido de la web o secciones administrativas. Para esto, lo que tendrás que hacer es crear un archivo robots.txt y colocarlo en la carpeta raíz de tu web. Cabe destacar que debe tener este nombre, el cual es el estándar.
Para crear un archivo robots.txt se debe tener bien en cuenta la estructura y la sintaxis, además hay que señalarle para que robot se desea que se cumpla la dicha condición, podrás tener varias configuraciones, todas en el mismo archivo robots.txt, para diferentes robots o lo que se llama "User-agent".
Ahora, pasare a comentar como deben comenzar y ser los códigos:
1. El código debe comenzar así:
- User-agent:*
El (*) es para indicar que se desea que esta condición se cumpla para cada uno de los robots, si se quiere que suceda para un buscador determinado se lo tiene que indicar así:
- User-agent: Googlebot
- User-agent: msnbot
Cuando ya se tiene en claro a quien se desea mostrarle la información, se tiene que pensar o comprender que es lo que quiere que los buscadores no indexen. Si se trata de una carpeta, subcarpeta, de un archivo o todo (El último no es de lo más usado, a que es relevante aparecer en los buscadores):
2. El código tendría que ser así:
- User-agent: *
- Disallow: /archivo.html
- Disallow: /carpeta/
- Disallow: /*/subcarpeta/
- Disallow: *
Hay también otras variantes para optimizar el archivo robots.txt, pero estas son un tanto complicadas de utilizar, y se debe tener mucho cuidado con su uso. Como por ejemplo, el uso del (*), ya que se sabe que sirve como comodín. Si se utiliza el "Disallow:/*palabra", todas las URL que contengan "Palabra" serán rechazadas de forma automática, si al final se pone "/*palabra", pues no se permitirá la indexación de las URL que terminen con “Palabra”
Se puede dificultar tanto como se quiera definir el nivel de acceso a los buscadores.
Espero que este simple tutorial les ayude a los principiantes, cabe destacar que es una forma sencilla de explicar como utilizar el Robots.txt y seguro hay quienes conozcan mejores formas o mas avanzada de hacerlo.
seguro halla quienes
Última edición:
