Cómo configurar correctamente el archivo robots.txt

User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Allow: /

Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /stats/
Disallow: /login/
Disallow: /*.php$
Disallow: /*.css$
Disallow: /*.js$
Disallow: /*.wmv$
Disallow: /*.zip$
Allow: /wp-content/uploads

En el foro de adsense me sugirieron que pusiera así el robots.txt. Con este tema ando algo perdido y por más que miro no me aclaro mucho. Primero este robots permite la entrada a todos los bots pero no permite la entrada a los directorios que pone Disallow no? Qué significan estos :

Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?

Y el /* para que se pone? Un saludo y gracias de antemano

hola tracid

si esta bien, pero quizas puedes agregarle estas lineas y sobre todo la direccion de tu sitemap
# Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
# idas de pinza, toca decirles que reduzcan la marcha.
# El valor es en segundos y podéis dejarlo bajo e ir
# subiendo hasta el punto óptimo.
#
User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10


Sitemap: Enlace eliminado

el * es un comodin que significa disallow todo las carpetas que tienen una subcarpta feed pro ejemplo

saludos mirian

Si el sitemap ya lo tenía puesto jeje, entonces quedaría así?:

User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10
User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Allow: /

Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /stats/
Disallow: /login/
Disallow: /*.php$
Disallow: /*.css$
Disallow: /*.js$
Disallow: /*.wmv$
Disallow: /*.zip$
Allow: /wp-content/uploads

Una pregunta, tengo que poner el bot de google tb?

de preferencia pon eso de los tiempos despues de todo 🙂

ok muchas gracias