Errores de rastreador debido a archivo robots.txt

userman Seguir

Gamma
Verificación en dos pasos desactivada
Verificado por Whatsapp
Desde
28 Dic 2010
Mensajes
285
Hola,

tengo 150 errores del rastreador, como por ejemplo:
Enlace eliminado

casi todos son de web.cachegoogleusercontent y algunos de bing images y facebook...

El motivo del bloqueo, me pone: Archivo robots.txt
y en el archivo robots.txt solo tengo esto:
User-agent: *
Disallow: /cgi-bin/

Alguien sabe porque me estan saliendo estos errores? nunca se me quitan esos 150 errores y siempre me salen con fecha de hoy y de dias atras...
 

palmendras

Delta
Redactor
Verificación en dos pasos desactivada
Verificado por Whatsapp
Desde
26 Nov 2009
Mensajes
694
Una vez me pasó algo similar por tener mi blog en un hosting gratis. El host añadía un codigo a mi robot.txt que resulto ser un contador y hacia el robot.txt invalido.
Tal vez es algo asi
 

userman

Gamma
Verificación en dos pasos desactivada
Verificado por Whatsapp
Desde
28 Dic 2010
Mensajes
285
palmendras yo no uso host gratis, tengo un VPS y casualmente he revisado el robots.txt y no veo nada raro, solamente eso que puse anteriormente.

gracias por tu sugerencia!!
 

¡Regístrate y comienza a ganar!

Beneficios

  • Gana dinero por participar
  • Gana dinero por recomendarnos
  • Descubre ofertas de empleo diariamente
  • Negocios seguros
  • ¡Información premium y más!

Acceder

¿Ya tienes una cuenta? Accede aquí

Arriba