¿Que utilidad tiene robot.txt?

srlemuuur dijo:

Buenas noches,

He estado informandome acerca de este archivo y me ha parecido entender que es para ocultar cierto contenido a los spiders, pero, ¿con que motivo se suele hacer? Que finalidad tiene? No es mejor estar en todos lo navegadores? Es prescindible?

Hacer clic para expandir...

Brandon Díaz dijo:

1. No es para ocultar contenido a las arañas de los buscadores... es para indicarles que contenido no deberían rastrear. Sin embargo esto no impide que lo puedan indexar si hay enlaces apuntando a dicho contenido.

2. Al indicarle que contenido no rastrear puedes canalizar el rastreo a otras partes del sitio... lo cual es útil, pues esas arañas no tienen todo el tiempo del mundo para rastrear tooodas las páginas de tu sitio... normalmente solo rastrean hasta cierto punto (ese "punto" esta definido básicamente por el PageRank que tienes (Enlace eliminado)) y es mejor no hacerlos desperdiciar su tiempo con contenido que no es prioritario para ti, por ejemplo, las paginaciones de tu contenido (/page/2, /page/3, etc)

3. ¿A qué te refieres con estar en todos los navegadores?

4. Sí... pero hasta cierto punto. Si tienes un sitio web grande es imprescindible usarlo bien

Hacer clic para expandir...

srlemuuur dijo:

3. Fallo mio, Navegadores = Buscadores

Ajam, entonces si estas empezando a construir un sitio es mejor prescindir de el hasta que la web se haga grande y desperdicie el tiempo de estos spiders. Gracias.

¿Existen mas ficheros de este tipo que abarquen otras funciones?

Hacer clic para expandir...

Brandon Díaz dijo:

Oh ya. Estarás, ese archivo solo les indica que no deben rastrear, mas no que NO deben indexar.

Y nope, no dije eso. En ningún caso sería mejor prescindir de el.

Muchos sistemas como Wordpress y Prestashop traen ya ficheros robots.txt predeterminados, para que los buscadores no rastreen ciertas carpetas del sitio. Puedes usarlos para eso y para evitar el rastreo de cualquier página de tu sitio... además, puedes también indicar un mapa de sitio en formato XML desde ese mismo archivo.

¿De este tipo? Hmm no, el robots.txt es único. Aunque hay algo similar que se utiliza para lo mismo que el robots.txt y para otras funciones más, pero página por página: La meta etiqueta robots.

<meta name="robots" content="...." />

Hacer clic para expandir...

Brandon Díaz dijo:

Si llegaras a tener un caso como el que expone Facundo yo preferiría agregar a cada página de dicho Panel la meta etiqueta:

<meta name="robots" content="noindex" />

Así te asegurarías de que no serán indexadas... pues aunque las tengas bloqueadas en el robots.txt pueden serlo

Hacer clic para expandir...