Configuración robot.txt para indexación en Google

User-agent: noxtrumbot
Crawl-delay: 30

User-agent: *
# disallow all files in these directories
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /category/

User-agent: Googlebot
# disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

# disallow all files with ? in url
Disallow: /*?*

# disable duggmirror
User-agent: duggmirror
Disallow: /

# allow google image bot to search all images
User-agent: Googlebot-Image
Disallow:
Allow: /*

# allow adsense bot on entire site
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

Hacer clic para expandir...

guille26A dijo:

Te puede afectar únicamente si las terminaciones de tus paginas son las que estas bloqueando a google. De no ser asi, ten en cuenta que si tu sitio es nuevo, google anda tardando un poco en indexarlo.
Y el Webmaster tools también anda tardando bastante.
La mejor forma de saber que contenidos están indexados es tipear esto en la caja de busqueada: site:tusitio.com
Por cierto, el comando Allow es innecesario ya que se supone que si no tienes bloqueado ese contenido con el comando Disallow, el bot automáticamente sabrá que si puede indexarlo.

Hacer clic para expandir...