Eso sucede cuando no tienes bien el robots.txt
Ejemplo:
Insertar CODE, HTML o PHP:
User-agent: * Disallow: /pagina/
Con el codigo anterior se bloquean todos los rastreadores, pero hay que recordar, que hay páginas que no queremos que sean indexadas, pero si queremos obtener ingresos mediante AdSense, por ejemplo, guiando visitantes siendo esta una página interna.
La forma de evitarlo es:
Insertar CODE, HTML o PHP:
User-agent: Googlebot Disallow: /pagina/
Disallow: ...
User-agent: Mediapartners-Google Disallow:
-------
Edito: No leí lo ultimo.
En este caso solo hay que esperar, no hay de que preocuparse, ya que pudo haber sido un error de solo unos segundos en el que el servidor mostró el error.