Optimización de robots.txt para WordPress y Panda

marrullas · 8 Oct 2011

Buenas betas, navegando en búsqueda de documentación sobre robots.txt me encontré esta configuración que esta optimizada para PANDA. se las dejo, recuerden que es responsabilidad de cada cual implementarla. ¿que opinan?

Insertar CODE, HTML o PHP:

User-agent: Googlebot 

Disallow: /wp-content/ 
Disallow: /trackback/ 
Disallow: /wp-admin/ 
Disallow: /feed/ 
Disallow: /archives/ 
Disallow: /index.php 
Disallow: /*? 
Disallow: /*.php$ 
Disallow: /*.js$ 
Disallow: /*.inc$ 
Disallow: /*.css$ 
Disallow: */feed/ 
Disallow: */trackback/ 
Disallow: /page/ 
Disallow: /tag/ 
Disallow: /category/ 
User-agent: Googlebot-Image 
Disallow: /wp-includes/ 
Allow: /wp-content/uploads/ 

User-agent: Mediapartners-Google* 
Disallow: 

User-agent: ia_archiver 
Disallow: / 

User-agent: duggmirror 
Disallow: / 

Sitemap: http://www.sutitio.net/sitemap.xml

Torrecus · 8 Oct 2011

Personamente no le encuentro mucho sentido, te deja fuera de la jugada en muchas cosas

elargento · 8 Oct 2011

para panda?

esto carece de sentido totalmente..

Science · 8 Oct 2011

Y está mal. El "Allow" no puede ir nunca debajo de los "Disallow". Luego que no haría un Disallow a las Category ni Archive porque pienso que es bueno poder posicionar las categorías. El del feed lo veo bien, y se podría añadir el /comments/feed. No sé qué necesidad hay de hacer un Disallow al index.php.

Sobre estos:
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

Ni idea. Yo excluí la página /search-results/ para que no indexe los resultados de búsqueda. Sobre los User Agent, tengo estos:
User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

Valadez · 8 Oct 2011

Science dijo:
Sobre estos:
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

Ni idea.

Eso evita que se indexen todos los archivos con extensión php, js, inc y css.
Al igual evita que indexen cadenas tipo: url.com/entrada/?cadena=cadena

Xaviermtz · 8 Oct 2011

Yo uso este robots aunque desconozco si hay otro mejor, yo este lo tome de chicaseo

Insertar CODE, HTML o PHP:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-

# Sitemap permitido.

Sitemap: http://tusitio.com/sitemap.xml

Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$

User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10

Michoacano · 8 Oct 2011

Y por que todos piensan que bloquear las tags da resultado?? El problema no es tener tags, el problema es tener muchas tags.

rade · 8 Oct 2011

En el Codex Wordrpress, está este:

Insertar CODE, HTML o PHP:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.example.com/sitemap.xml

Fuente:
http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress

Mosarella · 8 Oct 2011

no bloqueen las tags, :couple_inlove: a mi me dan muchas visitas si los sabes usar bien

rvc63 · 8 Oct 2011

Jhon MV dijo:
no bloqueen las tags, :couple_inlove: a mi me dan muchas visitas si los sabes usar bien

Gracias por la sugerencia si el tag mantiene contendio estatico lo sacare del robots.txt.