Problemas del robot de Google para acceder a mi sitio

LiTuSs92 · 2013-08-27T14:57:04-0500

Hace como dos semanas (el día 15-ago-2013) recibí el siguiente mensaje en Google webmaster Tools:

http://www.tomalibros.net/: el robot de Google no puede acceder a tu sitio.

El caso es que nunca antes me había pasado, y no hice ningún cambio en Wordpress, así que me extrañé mucho y pensé que seguramente se debiera a que el sitio estuvo caído y Google no pudo acceder al sitio (ese día tuve un par de caídas en la web.

Ahora, 2 semanas después tengo la pantalla de Webmaster Tools así:

, y no ha vuelvo a cambiar.

Pero el robots.txt parece estar activo: http://tomalibros.net/robots.txt

Al leer el mensaje me lleva aquí:

Edito: En el mensaje también dice: "Cuando creas que has solucionado el problema, usa Explorar como Google para obtener http://www.tomalibros.net/robots.txt y verifica que el robot de Google pueda acceder correctamente a tu sitio."

Uso el explorador y me da este resultado: Ver el archivo adjunto 16935
¿Alguna idea sobre qué puedo hacer?

Muchísimas gracias de antemano.

shadowhck · 2013-08-27T15:00:30-0500

Podria ser un error del servidor, porque si Google no puede obtener en archivo robots.txt, entonces no entra al sitio porque no conoce las reglas de acceso.

Intenta agregar un monitoreo con WebCron.org o Pingdom, y asi descartarlo.

LiTuSs92 · 2013-08-27T15:07:12-0500

shadowhck dijo:
Podria ser un error del servidor, porque si Google no puede obtener en archivo robots.txt, entonces no entra al sitio porque no conoce las reglas de acceso.

Intenta agregar un monitoreo con WebCron.org o Pingdom, y asi descartarlo.

En el mensaje también dice: "Cuando creas que has solucionado el problema, usa Explorar como Google para obtener http://www.tomalibros.net/robots.txt y verifica que el robot de Google pueda acceder correctamente a tu sitio."

Uso el explorador y me da este resultado:

root78 · 2013-08-27T15:27:55-0500

Lo más seguro es que sea un error de conectividad del server o incluso la red justo cuando pasa el bot. A mi me ha pasado en varias ocasiones. Vuelvo a verificar el robots.txt por si me he dejado algo o se ha escrito algo que no debería estar ahí. Lo veo todo ok y webmaster tools también. Al cabo de unos días (no es inmediato), me vuelve a aparecer ok. Prácticamente no me paso por el panel, sino que lo compruebo en el nuevo cuadro de adsense.

shadowhck · 2013-08-27T15:32:37-0500

LiTuSs92 dijo:
En el mensaje también dice: "Cuando creas que has solucionado el problema, usa Explorar como Google para obtener http://www.tomalibros.net/robots.txt y verifica que el robot de Google pueda acceder correctamente a tu sitio."

Uso el explorador y me da este resultado: Ver el archivo adjunto 16935

La prueba te da el resultado en el momento. Pero la falta de conectividad puede ser en alguna hora determinada, puede ser 1 minuto, 1 minutos, 5 segundos, por eso te recomiendo monitorear el sitio, y ver si tiene fallos, de ser asi, hay que optimizar, o mudar de hosting, para evitar futuros problemas.

Yo nunca tengo ese tipo de problemas, y es porque la conectividad de mi proveedor es buena, ademas de que no hay ningun bottleneck.

LiTuSs92 · 2013-08-27T15:33:03-0500

root78 dijo:
Lo más seguro es que sea un error de conectividad del server o incluso la red justo cuando pasa el bot. A mi me ha pasado en varias ocasiones. Vuelvo a verificar el robots.txt por si me he dejado algo o se ha escrito algo que no debería estar ahí. Lo veo todo ok y webmaster tools también. Al cabo de unos días (no es inmediato), me vuelve a aparecer ok. Prácticamente no me paso por el panel, sino que lo compruebo en el nuevo cuadro de adsense.

desde el día 15 así, es normal?

dalfmaster · 2013-08-27T20:50:37-0500

Yo tengo el mismo error en mi web y no cambia

root78 · 2013-08-28T01:00:30-0500

¿El robots.txt, como lo tenéis implementado? ¿Insertado maualmente y subido por ftp o generado por algún plugin que hace robots dinámico?
¿Está todo bien en el .htaccess?

Instalé WP Robots txt en un wordpress y no me daba ese problema (lo mismo fue casualidad al tocar otra cosa). En cambio, en otros que subí por ftp, y comprobaba todo el rato, un día me decía ok y luego unos 3-7 días con el error.

DoctorPC · 2013-08-28T09:52:24-0500

Google a veces exagera un poquito.
A mi me ha mandado mensajes de ese tipo o por problemas con los DNS. Son micro cortes y te avisa para que revises.

Si ves tu sitio activo y no tienes nada raro en el robots.txt, ignora el mensaje.

Puedes asegurarte colocando esto:

Insertar CODE, HTML o PHP:

User-agent: Googlebot
Disallow:

Kakkonen · 25 Sep 2013

al parecer fue una falla general de google que afecto a muchos, si googlean veran esto mismo en varios sitios y en la misma fecha al parecer, quienes miramos siempre todo nos damos cuenta quizas otros ni se dieron cuenta y yo gaste en un vps puff