Cómo proteger wp-plugin en robots.txt

Emis · 29 Sep 2010

Buenas,

Me podrian decir, como puedo configurar el robots.txt, para que no tenga acceso a mis wp-plugin, digamos para que no realize busqueda del panel en general.

Si me podrian dejar otros datos, seran bienvenidos..

Saludos

Krauzer · 29 Sep 2010

Agrega esto en tu archivo robots.txt

Insertar CODE, HTML o PHP:

# Disallow all directories and files within
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /category/
Disallow: /page/*

Emis · 29 Sep 2010

Estube leyendo recien una guia completa acerca de los robots, y ya me quedo en claro varias cosas, encontre un par de texto para el robots en wp. Aver que les parece y si esta bien.

User-agent: *
# disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /z/j/
Disallow: /z/c/
Disallow: /stats/
Disallow: /dh_
Disallow: /about/
Disallow: /contact/
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /contact
Disallow: /manual
Disallow: /manual/*
Disallow: /phpmanual/
Disallow: /category/

User-agent: Googlebot
# disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

# disallow all files with ? in url
Disallow: /*?*

# disable duggmirror
User-agent: duggmirror
Disallow: /

# allow google image bot to search all images
User-agent: Googlebot-Image
Disallow:
Allow: /*

# allow adsense bot on entire site
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

Krauzer · 29 Sep 2010

Esta bien, pero primero antes de que lo insertes en robots.txt ve que hace cada uno, puedes revisar los robots.txt de cada sitio en ese caso, asi: www.nombredelapagina.com/robots.txt Saludos!

Emis · 29 Sep 2010

krauzer dijo:
Esta bien, pero primero antes de que lo insertes en robots.txt ve que hace cada uno, puedes revisar los robots.txt de cada sitio en ese caso, asi: www.nombredelapagina.com/robots.txt Saludos!

Emmm y aver yo vi esto.. Que quieres que vea del codigo que yo deje?

Disallow: / prohibe la entrada a todo el sitio.
Disallow: permite la entrada a todo el sitio.

Tambien vi esto, para que cada robots, analize cada 30 segundo, asi no sobrecarga el servidor
User-agent: noxtrumbot
Crawl-delay: 30

Agregar un sitemap
Sitemap: Enlace eliminado

En fin creo que asi estaria correcto.

User-agent: noxtrumbot
Crawl-delay: 30

User-agent: *
# disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /z/j/
Disallow: /z/c/
Disallow: /stats/
Disallow: /dh_
Disallow: /about/
Disallow: /contact/
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /contact
Disallow: /manual
Disallow: /manual/*
Disallow: /phpmanual/
Disallow: /category/

User-agent: Googlebot
# disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

# disallow all files with ? in url
Disallow: /*?*

# disable duggmirror
User-agent: duggmirror
Disallow: /

# allow google image bot to search all images
User-agent: Googlebot-Image
Disallow:
Allow: /*

# allow adsense bot on entire site
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

Sitemap: Enlace eliminado

NeriAispuro · 30 Sep 2010

Hace un tiempo escribí algo sobre el robots.txt, tal vez te sriva 🙂

Insertar CODE, HTML o PHP:

http://wordpress-hacks.com/robots-txt-para-wordpress.php

Cómo proteger wp-plugin en robots.txt

Emis

Krauzer

Emis

Krauzer

Emis

NeriAispuro

Temas similares