Configuración robot.txt para indexación en Google

[Mandrake]

Actualmente estoy utilizando esta configuración y quiero saber si esto me está afectado a que Google supuesta-mente no me indexa las paginas de mi sitio cuando hago algún reporte para verificar las paginas indexadas (valga la redundancia) me sale en cero.

Este es mi config. del robot.txt

User-agent: noxtrumbot
Crawl-delay: 30

User-agent: *
# disallow all files in these directories
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /category/

User-agent: Googlebot
# disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

# disallow all files with ? in url
Disallow: /*?*

# disable duggmirror
User-agent: duggmirror
Disallow: /

# allow google image bot to search all images
User-agent: Googlebot-Image
Disallow:
Allow: /*

# allow adsense bot on entire site
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

Me gustaría que me recomendarán alguno, en caso este no sea de fiar. Si este hilo no por acá, un moderador puede moverlo.

 

[Draper]

Te puede afectar únicamente si las terminaciones de tus paginas son las que estas bloqueando a google. De no ser asi, ten en cuenta que si tu sitio es nuevo, google anda tardando un poco en indexarlo.
Y el Webmaster tools también anda tardando bastante.
La mejor forma de saber que contenidos están indexados es tipear esto en la caja de busqueada: site:tusitio.com
Por cierto, el comando Allow es innecesario ya que se supone que si no tienes bloqueado ese contenido con el comando Disallow, el bot automáticamente sabrá que si puede indexarlo.

 

[Mandrake]

Te puede afectar únicamente si las terminaciones de tus paginas son las que estas bloqueando a google. De no ser asi, ten en cuenta que si tu sitio es nuevo, google anda tardando un poco en indexarlo.
Y el Webmaster tools también anda tardando bastante.
La mejor forma de saber que contenidos están indexados es tipear esto en la caja de busqueada: site:tusitio.com
Por cierto, el comando Allow es innecesario ya que se supone que si no tienes bloqueado ese contenido con el comando Disallow, el bot automáticamente sabrá que si puede indexarlo.

Wow! gracias con lo del site:tusitio.com puedo ver todas las paginas de mi web indexadas, creo que viene un buen cambio para el sitio yupi!