Consulta de Robots.txt

rh0b3rt0 dijo:

en mi robot.txt yo tengo esto

HTML:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/blog-page.html
Allow: /

Sitemap: http://androidadictivo.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Hacer clic para expandir...

Aprenderseonline dijo:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Ese es el mio, sera que con esa configuracion le estoy diciendo a los buscadires que no lo indexen?

Hacer clic para expandir...

Brandon Díaz dijo:

¿Que no indexen qué?

Además, con el robots no indicas que no indexen sino que no RASTREEN

Hacer clic para expandir...

Aprenderseonline dijo:

Eso mismo!

Pueden decirme una configuración correcta de cómo hacer un Robot para que los Buscadores lo rastreen?




---------- Post agregado el 26-ene-2014 hora: 20:51 ----------

Para mas facilidad, que le estoy diciendo al Buscador, con esta configuración?

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Y cuál sería la configuración correcta de un Robots.txt

Hacer clic para expandir...

Brandon Díaz dijo:

¿Para que los buscadores lo rastreen?
¿Para que rastreen qué, el robots.txt? ¿El sitio? No te entiendo.

Ahora, con esa configuración le estas diciendo a todos los bots que accedan a tu sitio que no rastreen lo que se encuentra en esos dos directorios.

La configuracion correcta de un robots.txt... no existe. Depende de cada sitio

Hacer clic para expandir...

Aprenderseonline dijo:

A ver si me explico bien.

Yo quiero que los buscadores rastreen mi información, (La información de mi página) Lo que no se si mi archivo robots.txt está bien configurado.

Como lo configurarías tu? Puede poner un ejemplo?

Hacer clic para expandir...

Brandon Díaz dijo:

Por default los buscadores rastrean todo lo que puedan.... El robots.txt es más para indicar que NO quieres que rastreen.

Hacer clic para expandir...