Puedo usar 2 tipos de robots ?

  • Autor Autor Tuxmyhell
  • Fecha de inicio Fecha de inicio
T

Tuxmyhell

Beta
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
Bueno acaba de crear un archivo robot con 2 agent:

sUser-agent: *
Allow: /

User-agent: Mediapartners-Google
Allow: /

User-agent: *
Allow: /

User-agent: Googlebot-Image
Allow: /

asi lo tengo el robot.txt
 
Cuando le decis

User-agent: *

Le decís que todos los robots tienen acceso a tu sitio, no tienes porque especificar el nombre de los robots después...
 
?? no te entiendo
 
Te recomiendo este robots.txt


Fuente
 
Yo lo haría así

# BEGIN XML-SITEMAP-PLUGIN
Sitemap:
# END XML-SITEMAP-PLUGIN
User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: /trackback/
Disallow: /author/
Disallow: /categoria/
Disallow: /tag/
Disallow: /?s=
Disallow: /search
Disallow: /*/#more-*
Disallow: /cgi-bin/
User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*.php*
Disallow: */trackback*
Disallow: /*?*
Disallow: /z/
Disallow: /wp-*
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.txt$
Disallow: /clic/
Allow: /wp-content/uploads/
User-agent: noxtrumbot
Crawl-delay: 50

User-agent: msnbot
Crawl-delay: 30

User-agent: Slurp
Crawl-delay: 10
 
eso es para wordpress
quiero saber si puedo usar los 2 y si esta bien.

sUser-agent: *
Allow: /

User-agent: Mediapartners-Google
Allow: /

User-agent: *
Allow: /

User-agent: Googlebot-Image
Allow: /

y por que me sale en estado : 302 (Cambio de ubicación temporal)