Tema: robots.txt para wp, adaptado para panda

Buenas betas, navegando en búsqueda de documentación sobre robots.txt me encontré esta configuración que esta optimizada para PANDA. se las dejo, recuerden que es responsabilidad de cada cual implementarla. ¿que opinan?

Código:

User-agent: Googlebot 

Disallow: /wp-content/ 
Disallow: /trackback/ 
Disallow: /wp-admin/ 
Disallow: /feed/ 
Disallow: /archives/ 
Disallow: /index.php 
Disallow: /*? 
Disallow: /*.php$ 
Disallow: /*.js$ 
Disallow: /*.inc$ 
Disallow: /*.css$ 
Disallow: */feed/ 
Disallow: */trackback/ 
Disallow: /page/ 
Disallow: /tag/ 
Disallow: /category/ 
User-agent: Googlebot-Image 
Disallow: /wp-includes/ 
Allow: /wp-content/uploads/ 

User-agent: Mediapartners-Google* 
Disallow: 

User-agent: ia_archiver 
Disallow: / 

User-agent: duggmirror 
Disallow: / 

Sitemap: http://www.sutitio.net/sitemap.xml

Personamente no le encuentro mucho sentido, te deja fuera de la jugada en muchas cosas

para panda?

esto carece de sentido totalmente..

Y está mal. El "Allow" no puede ir nunca debajo de los "Disallow". Luego que no haría un Disallow a las Category ni Archive porque pienso que es bueno poder posicionar las categorías. El del feed lo veo bien, y se podría añadir el /comments/feed. No sé qué necesidad hay de hacer un Disallow al index.php.

Sobre estos:
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

Ni idea. Yo excluí la página /search-results/ para que no indexe los resultados de búsqueda. Sobre los User Agent, tengo estos:
User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

Iniciado por Science

Sobre estos:
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

Ni idea.

Eso evita que se indexen todos los archivos con extensión php, js, inc y css.
Al igual evita que indexen cadenas tipo: url.com/entrada/?cadena=cadena

Yo uso este robots aunque desconozco si hay otro mejor, yo este lo tome de chicaseo

Código:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-

# Sitemap permitido.

Sitemap: http://tusitio.com/sitemap.xml

Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$

User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10

Y por que todos piensan que bloquear las tags da resultado?? El problema no es tener tags, el problema es tener muchas tags.

En el Codex Wordrpress, está este:

Código:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.example.com/sitemap.xml

Fuente:
http://codex.wordpress.org/Search_En..._for_WordPress

no bloqueen las tags, a mi me dan muchas visitas si los sabes usar bien

Iniciado por Jhon MV

no bloqueen las tags, a mi me dan muchas visitas si los sabes usar bien

Gracias por la sugerencia si el tag mantiene contendio estatico lo sacare del robots.txt.