Otimização de robots.txt para WordPress e Panda

marrullas · 08/10/2011

Buenas betas, navegando en búsqueda de documentación sobre robots.txt me encontré esta configuración que esta optimizada para PANDA. se las dejo, recuerden que es responsabilidad de cada cual implementarla. ¿que opinan?

Inserir CODE, HTML ou PHP:

User-agent: Googlebot 

Disallow: /wp-content/ 
Disallow: /trackback/ 
Disallow: /wp-admin/ 
Disallow: /feed/ 
Disallow: /archives/ 
Disallow: /index.php 
Disallow: /*? 
Disallow: /*.php$ 
Disallow: /*.js$ 
Disallow: /*.inc$ 
Disallow: /*.css$ 
Disallow: */feed/ 
Disallow: */trackback/ 
Disallow: /page/ 
Disallow: /tag/ 
Disallow: /category/ 
User-agent: Googlebot-Image 
Disallow: /wp-includes/ 
Allow: /wp-content/uploads/ 

User-agent: Mediapartners-Google* 
Disallow: 

User-agent: ia_archiver 
Disallow: / 

User-agent: duggmirror 
Disallow: / 

Sitemap: http://www.sutitio.net/sitemap.xml

Torrecus · 08/10/2011

Personamente no le encuentro mucho sentido, te deja fuera de la jugada en muchas cosas

elargento · 08/10/2011

para panda?

esto carece de sentido totalmente..

Science · 08/10/2011

Y está mal. El "Allow" no puede ir nunca debajo de los "Disallow". Luego que no haría un Disallow a las Category ni Archive porque pienso que es bueno poder posicionar las categorías. El del feed lo veo bien, y se podría añadir el /comments/feed. No sé qué necesidad hay de hacer un Disallow al index.php.

Sobre estos:
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

Ni idea. Yo excluí la página /search-results/ para que no indexe los resultados de búsqueda. Sobre los User Agent, tengo estos:
User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

Valadez · 08/10/2011

Science disse:
Sobre estos:
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

Ni idea.

Eso evita que se indexen todos los archivos con extensión php, js, inc y css.
Al igual evita que indexen cadenas tipo: url.com/entrada/?cadena=cadena

Xaviermtz · 08/10/2011

Yo uso este robots aunque desconozco si hay otro mejor, yo este lo tome de chicaseo

Inserir CODE, HTML ou PHP:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-

# Sitemap permitido.

Sitemap: http://tusitio.com/sitemap.xml

Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$

User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10

Michoacano · 08/10/2011

Y por que todos piensan que bloquear las tags da resultado?? El problema no es tener tags, el problema es tener muchas tags.

rade · 08/10/2011

En el Codex Wordrpress, está este:

Inserir CODE, HTML ou PHP:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.example.com/sitemap.xml

Fuente:
http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress

Mosarella · 08/10/2011

no bloqueen las tags, :couple_inlove: a mi me dan muchas visitas si los sabes usar bien 😎

rvc63 · 08/10/2011

Jhon MV disse:
no bloqueen las tags, :couple_inlove: a mi me dan muchas visitas si los sabes usar bien 😎

Gracias por la sugerencia si el tag mantiene contendio estatico lo sacare del robots.txt.

Otimização de robots.txt para WordPress e Panda

marrullas

Torrecus

elargento

Science

Valadez

Xaviermtz

Michoacano

rade

Mosarella

rvc63

Tópicos similares