Mejorando el archivo robot.txt en Wordpress

Eh visto mucha gente hablando del robot.txt en wordpress el mio es el siguiente

User-agent: *
Disallow:

Sitemap: http://turankeo.com/sitemap.xml.gz

Para no tener problema con google tengo que cambiarle algo o dejarlo asi,

Pues el mio es:

ser-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Allow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

User-agent: Mediapartners-Google
Allow: /

Y segun veo y no estoy muy seguro pero creo que estas bloqueando con el Disallow:, por ejemplo yo lo uso para que no entre al administrator y otrras carpetas, y con el Allow: / le digo que tiene permisos si no estoy mal debes modificarlo a Allow : / para que entre a todos lados menos a los que especifiques con Disallow: como es de worpress no se que carpetas del sistema usen.

verocp15 dijo:

Pues el mio es:

ser-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Allow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

User-agent: Mediapartners-Google
Allow: /

Y segun veo y no estoy muy seguro pero creo que estas bloqueando con el Disallow:, por ejemplo yo lo uso para que no entre al administrator y otrras carpetas, y con el Allow: / le digo que tiene permisos si no estoy mal debes modificarlo a Allow : / para que entre a todos lados menos a los que especifiques con Disallow: como es de worpress no se que carpetas del sistema usen.

Hacer clic para expandir...

No puedes hacer user agent * ( todos ) poner las normas para todos y luego poner el de adsense un allow.. ya que el robot de adsense entra en * ( todos ) así que es una contradicción..

Funcionara exactamente igual si quitas

User-agent: Mediapartners-Google
Allow: /

Y si quieres restringir par a unos buscadores y para otros no, has de poner los nombres... este es el mio..

User-agent: Googlebot

Disallow: /*/?sort=*
Disallow: /*/?wap2
Disallow: /*/*/*/?wap2
Disallow: /*/*/?wap2
Disallow: /empty-*.0.html;topicseen
Disallow: /*/*/msg*
Disallow: /*/msg*
Disallow: /*/msg
Disallow: /*/*msg
Disallow: /*/?prev_next*
Disallow: /profile/*
Disallow: /register
Disallow: /search
Disallow: /login
Disallow: /collapse
Disallow: /*/msg*/*
Disallow: /*/*/msg*/*
Disallow: /*/?sort=last_post
Disallow: /*/*/?sort=last_post
Disallow: /*/?sort=replies
Disallow: /*/*/?prev_next=*
Disallow: /help
Disallow: /reminder
Disallow: /basura
Disallow: /activate
Disallow: /?PHPSESSID*
Disallow: /*/?PHPSESSID*
Disallow: /*/*/?action=printpage
Disallow: /*/?action=printpage
Disallow: /chat.html

User-agent: Mediapartners-Google

Disallow: /todo-sobre-poker-!/*
Disallow: /torneos-freerolls/*
Disallow: /torneos-otras-salas/*


En cuanto a fidel..

User-agent: *
Disallow:


Mejor deja user-aget: *
allow: /

Ya que no tienes mas normas...

Y el sitemap arriba de eso aunque tampoco hace falta ponerlo si ya lo mandas a google y otros buscadores...

Otra pregunta si pueden ayudarme claro, pro que todas las paginas que se estan inexando tiene la misma descripcion, y la principal ahora tiene el resumende la primera entrada y no los datos que tiene como descripcion..

El mio es

No es cierto =)
Uso este: Robots.txt Perfecto para Wordpress | Ayuda WordPress

Sanchez Toledano dijo:

El mio es

Insertar CODE, HTML o PHP:

User-Agent: *

Disallow: /harming/humans
Disallow: /ignoring/human/orders
Disallow: /harm/to/self

No es cierto =)
Uso este: Robots.txt Perfecto para Wordpress | Ayuda WordPress

Hacer clic para expandir...

Y todavia sigue siendo perfecto por que ese robot.txt es de 4 años atras..

Cuatro años? Cómo ha pasado el tiempo.

Si, sigue siendo perfecto.

Sanchez Toledano dijo:

Cuatro años? Cómo ha pasado el tiempo.

Si, sigue siendo perfecto.

Hacer clic para expandir...

Mira lo coloque en la carpeta y cuando busco www.turankeo.com/robots.txt me sale uno que no es el que tengo en el indix.. sabes por que pasa eso..

Problema resuelto tenia que desactivar la opcion de crear robots virtual en el XML y tenia letra R en mayuscula y no lo reconocia..