Tema: Como configurar robots.txt

Buenas,

Me podrian decir, como puedo configurar el robots.txt, para que no tenga acceso a mis wp-plugin, digamos para que no realize busqueda del panel en general.

Si me podrian dejar otros datos, seran bienvenidos..

Saludos

Agrega esto en tu archivo robots.txt

Código:

# Disallow all directories and files within
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /category/
Disallow: /page/*

Estube leyendo recien una guia completa acerca de los robots, y ya me quedo en claro varias cosas, encontre un par de texto para el robots en wp. Aver que les parece y si esta bien.

User-agent: *
# disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /z/j/
Disallow: /z/c/
Disallow: /stats/
Disallow: /dh_
Disallow: /about/
Disallow: /contact/
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /contact
Disallow: /manual
Disallow: /manual/*
Disallow: /phpmanual/
Disallow: /category/

User-agent: Googlebot
# disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

# disallow all files with ? in url
Disallow: /*?*

# disable duggmirror
User-agent: duggmirror
Disallow: /

# allow google image bot to search all images
User-agent: Googlebot-Image
Disallow:
Allow: /*

# allow adsense bot on entire site
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

Esta bien, pero primero antes de que lo insertes en robots.txt ve que hace cada uno, puedes revisar los robots.txt de cada sitio en ese caso, asi: www.nombredelapagina.com/robots.txt Saludos!

Iniciado por krauzer

Esta bien, pero primero antes de que lo insertes en robots.txt ve que hace cada uno, puedes revisar los robots.txt de cada sitio en ese caso, asi: www.nombredelapagina.com/robots.txt Saludos!

Emmm y aver yo vi esto.. Que quieres que vea del codigo que yo deje?

Disallow: / prohibe la entrada a todo el sitio.
Disallow: permite la entrada a todo el sitio.

Tambien vi esto, para que cada robots, analize cada 30 segundo, asi no sobrecarga el servidor
User-agent: noxtrumbot
Crawl-delay: 30

Agregar un sitemap
Sitemap: http://www.leeinformatica.com/sitemap.xml

En fin creo que asi estaria correcto.

User-agent: noxtrumbot
Crawl-delay: 30

User-agent: *
# disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /z/j/
Disallow: /z/c/
Disallow: /stats/
Disallow: /dh_
Disallow: /about/
Disallow: /contact/
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /contact
Disallow: /manual
Disallow: /manual/*
Disallow: /phpmanual/
Disallow: /category/

User-agent: Googlebot
# disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

# disallow all files with ? in url
Disallow: /*?*

# disable duggmirror
User-agent: duggmirror
Disallow: /

# allow google image bot to search all images
User-agent: Googlebot-Image
Disallow:
Allow: /*

# allow adsense bot on entire site
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

Sitemap: http://www.leeinformatica.com/sitemap.xml

Hace un tiempo escribí algo sobre el robots.txt, tal vez te sriva

Código:

http://wordpress-hacks.com/robots-txt-para-wordpress.php