Error robots.txt

Hace 2 días empecé con un problema que no logro comprender y está sucediendo en 2 de mis sitios.
Google Webmaster me indica el siguiente error:
Over the last 24 hours, Googlebot encountered 6962 errors while attempting to access your robots.txt. To ensure that we didn't crawl any pages listed in that file, we postponed our crawl. Your site's overall robots.txt error rate is 98.2%.
You can see more details about these errors in Webmaster Tools.

El problema es que si puedo acceder al robots.txt de forma manual, también lo pueden acceder otras personas.
Si intento usar la herramienta de explorar como Googlebot me indica el siguiente error:
Archivo robots.txt inaccesible

He contactado con mi servicio de host (Hostgator) y me han dicho que no existe ningun tipo de restricción por su parte.
El robots.txt que uso lo extraje de aquí (un usuario lo recomienda) y lo uso en 4 sitios, todos en el mismo host.
¿Alguna idea?

El sitio por MP

Has cambiado las DNS recientemente??? Suele pasar cuando mueves un sitio de servidor hasta que las DNS se refrescan el googlebot puede estar intentando acceder al antiguo servidor.

cerebellum dijo:

Has cambiado las DNS recientemente??? Suele pasar cuando mueves un sitio de servidor hasta que las DNS se refrescan el googlebot puede estar intentando acceder al antiguo servidor.

Hacer clic para expandir...

Nope, lamentablemente no es así.

Lo que si veo claramente es que tienes dos sitmap y al ser uno txt y el otro xml pueden estar creando problemas, por otro lado el txt no esta bien creado, en el 2012 aun se siguen utilizando en muchas ocasiones el robot en ingles y el ingles no tiene ni reconoce caracteres extraños, como tildes, ñ y otros bichos raros que posee el español.
Mándame MP, si quieres para seguirla.

Creo...

que el problema esta en

# Para Google, que no indexe los scripts o ficheros que tenemos en la raÃ*z
# de nuestro alojamiento web. Se podrÃ*a aplicar a otros bots, pero Bing
# no indexa todo lo innecesario y Yahoo... no hace falta, en serio xD
User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*?*
Disallow: /*.txt$


Desafortunadamente todas las paginas de wordpres son php.. asi solo evitas que las rastre...

El robots.txt es una pesadilla hermano, debes arreglarlo.


La explicacion del robots.txt esta aqui Enlace eliminado en palabras sencillas.

Si no deshabilitas por defecto habilitas, asi que no vale la pena tantas lineas.

Si necesitas mas ayuda avisa y especifica y con gusto para que otros con el mismo problema tambien se beneficien.

YoGeekOnline dijo:

El robots.txt es una pesadilla hermano, debes arreglarlo.

HTML:

User-agent: *
 Disallow: /cgi-bin
 Disallow: /wp-admin
 Disallow: /wp-includes
 Disallow: /wp-content/plugins
 Disallow: /wp-content/cache
 Disallow: /wp-content/themes
 Disallow: /trackback
 Disallow: /feed
 Disallow: /comments
 Disallow: /category/*/*
 Disallow: */trackback
 Disallow: */feed
 Disallow: */comments
 Disallow: /*?*
 Disallow: /*?
 Allow: /wp-content/uploads
 
# Google Image
 User-agent: Googlebot-Image
 Disallow: /*

 
# digg mirror
 User-agent: duggmirror
 Disallow: /
 
Sitemap: http://www.example.com/sitemap.xml

La explicacion del robots.txt esta aqui Enlace eliminado en palabras sencillas.

Si no deshabilitas por defecto habilitas, asi que no vale la pena tantas lineas.

Si necesitas mas ayuda avisa y especifica y con gusto para que otros con el mismo problema tambien se beneficien.

Hacer clic para expandir...

He hecho la prueba con ese sitemap y el error persiste.

- - - Actualizado - - -

Tampoco ha sido así.
El robots es el mismo desde hace un mes y no había presentado problemas.

Satanarchist dijo:

Creo...

que el problema esta en

# Para Google, que no indexe los scripts o ficheros que tenemos en la raÃ*z
# de nuestro alojamiento web. Se podrÃ*a aplicar a otros bots, pero Bing
# no indexa todo lo innecesario y Yahoo... no hace falta, en serio xD
User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*?*
Disallow: /*.txt$


Desafortunadamente todas las paginas de wordpres son php.. asi solo evitas que las rastre...

Hacer clic para expandir...

Giezzy dijo:

He hecho la prueba con ese sitemap y el error persiste.

- - - Actualizado - - -

Tampoco ha sido así.
El robots es el mismo desde hace un mes y no había presentado problemas.

Hacer clic para expandir...

Recuerda que tienes que esperar que google vuelva a descargar tu archivo robots.txt, revisa la ultima descarga y veras que lo descargar cada cierto tiempo y no al momento.