Como criar um robots.txt

Que les parece mi robots??


Sitemap:

User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: /trackback/
Disallow: /author/
Disallow: /categoria/
Disallow: /tag/
Disallow: /?s=
Disallow: /search
Disallow: /*/#more-*
Disallow: /cgi-bin/
User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*.php*
Disallow: */trackback*
Disallow: /*?*
Disallow: /z/
Disallow: /wp-*
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.txt$
Disallow: /clic/
Allow: /wp-content/uploads/
User-agent: noxtrumbot
Crawl-delay: 50

User-agent: msnbot
Crawl-delay: 30

User-agent: Slurp
Crawl-delay: 10

Bien por lo que veo utilizas Wordpress. Yo tengo uno muy similar en mis blogs.

Yo tengo instalado el plugin XML-Sitemaps y me hace este trabajo solo y me funciona muy bien.

Gerard disse:

Yo tengo instalado el plugin XML-Sitemaps y me hace este trabajo solo y me funciona muy bien.

Clique para expandir...

Yo tambie, uso ese plugin, y hace muy buen trabajo, las urls nuevas las indexa google muy rapidamente

No es necesario que tenga todo eso, solo bloquea las rutas que sean necesarias, de todas formas siempre es mejor bloquear por metas que por robots.txt