Consulta de Robots.txt

A

Aprenderseonline

Hola Una consulta

Si pongo esto en mi Robos.txt esto que le estoy diciendo al buscador?

User-agent: * Allow: /


Cuál es la configuración que me recomienda que tenga un Robots.txt

Todo esto para efectos de SEO claro!!:pirate:

Muchas gracias
 
R

rh0b3rt0

Delta
Redactor
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
Desde
26 Dic 2013
Mensajes
523
en mi robot.txt yo tengo esto

HTML: 
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/blog-page.html
Allow: /

Sitemap: http://androidadictivo.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
 
A

Aprenderseonline

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Ese es el mio, sera que con esa configuracion le estoy diciendo a los buscadires que no lo indexen?


rh0b3rt0 dijo:
en mi robot.txt yo tengo esto

HTML: 
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/blog-page.html
Allow: /

Sitemap: http://androidadictivo.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Hacer clic para expandir...
 
A

Aprenderseonline

Eso mismo!

Pueden decirme una configuración correcta de cómo hacer un Robot para que los Buscadores lo rastreen?


Brandon Díaz dijo:
¿Que no indexen qué?

Además, con el robots no indicas que no indexen sino que no RASTREEN
Hacer clic para expandir...


---------- Post agregado el 26-ene-2014 hora: 20:51 ----------

Para mas facilidad, que le estoy diciendo al Buscador, con esta configuración?

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Y cuál sería la configuración correcta de un Robots.txt
 
Última edición por un moderador:
Brandon Díaz

Brandon Díaz

Lambda
SEO
Verificación en dos pasos activada
Desde
24 Nov 2011
Mensajes
2.815
Aprenderseonline dijo:
Eso mismo!

Pueden decirme una configuración correcta de cómo hacer un Robot para que los Buscadores lo rastreen?




---------- Post agregado el 26-ene-2014 hora: 20:51 ----------

Para mas facilidad, que le estoy diciendo al Buscador, con esta configuración?

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Y cuál sería la configuración correcta de un Robots.txt
Hacer clic para expandir...


¿Para que los buscadores lo rastreen?
¿Para que rastreen qué, el robots.txt? ¿El sitio? No te entiendo.

Ahora, con esa configuración le estas diciendo a todos los bots que accedan a tu sitio que no rastreen lo que se encuentra en esos dos directorios.

La configuracion correcta de un robots.txt... no existe. Depende de cada sitio
 
A

Aprenderseonline

A ver si me explico bien.

Yo quiero que los buscadores rastreen mi información, (La información de mi página) Lo que no se si mi archivo robots.txt está bien configurado.

Como lo configurarías tu? Puede poner un ejemplo?




Brandon Díaz dijo:
¿Para que los buscadores lo rastreen?
¿Para que rastreen qué, el robots.txt? ¿El sitio? No te entiendo.

Ahora, con esa configuración le estas diciendo a todos los bots que accedan a tu sitio que no rastreen lo que se encuentra en esos dos directorios.

La configuracion correcta de un robots.txt... no existe. Depende de cada sitio
Hacer clic para expandir...
 
Brandon Díaz

Brandon Díaz

Lambda
SEO
Verificación en dos pasos activada
Desde
24 Nov 2011
Mensajes
2.815
Aprenderseonline dijo:
A ver si me explico bien.

Yo quiero que los buscadores rastreen mi información, (La información de mi página) Lo que no se si mi archivo robots.txt está bien configurado.

Como lo configurarías tu? Puede poner un ejemplo?
Hacer clic para expandir...

Por default los buscadores rastrean todo lo que puedan.... El robots.txt es más para indicar que NO quieres que rastreen.
 
Hay que estar conectado o registrado para responder aquí.
Arriba