El sitemap incluye URL que el archivo robots.txt ha bloqueado

T

tupacsoul

Curioso

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 15 Sep 2014

• #1

Buenas.

Llevo todo el día dándome cabezazos contra esto, y la verdad, no tengo ni pajolera idea de cuál puede ser el problema.

Tengo el siguiente robots.txt

HTML:

User-agent: * 
Allow: /
Disallow: /wp-content/plugins/
Sitemap: http://www.gameit.es/sitemap.xml

Pues bien, como podéis ver, no bloquea más que la parte de los plugins de wordpress... sin embargo, Google dice, con Webmasters Tools, que todas las URL incluídas en el sitemaps, están bloqueadas por el robots.txt
El sitemap incluye URL que el archivo robots.txt ha bloqueado.

La cosa es que compruebo el robots.txt desde webmasters tools y me dice que está bien, y meto una a una las url que avisa en el sitemap que no se pueden acceder, y todas dice que está permitido... no entiendo.

¿Puede ser que tarde en actualizar? Y si es así... más de un día?

Gracias!

 

M

migu3lort3ga20@gmail.com

Gamma

SEO

• 15 Sep 2014

• #2

para mi esta bien la url del sitemap

 

T

tupacsoul

Curioso

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 16 Sep 2014

• #3

Claro, y para mí, pero por algún motivo, me lo siguen restringiendo en webmasters tools diciendo que el robots.txt lo bloquea... no entiendo por qué.

 

Brandon Díaz

Lambda

SEO

Verificación en dos pasos activada

• 16 Sep 2014

• #4

HTML:

User-agent: * 
Disallow: /wp-content/plugins/ 

Sitemap: http://www.gameit.es/sitemap.xml

Coloca este. Según el estándar debes tener una línea de separación entre esas instrucciones, y agregar la línea Allow:/ es inútil pues ese es el comportamiento por default.

 

T

tupacsoul

Curioso

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 16 Sep 2014

• #5

Ok Brandon, muchas gracias. Lo acabo de volver a enviar según tus instrucciones. Te cuento en unas horas cuando termine de analizar.

- - - Actualizado - - -

Pues tenías razón Brandon. Parece estar ya solucionado.

Mil gracias de nuevo 🙂

 

Ozerom

Beta

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 11 Jun 2018

• #6

Perdonar que recupere un post tan antiguo, pero estoy teniendo este mismo problema. He dejado el robots.txt como decís, pero me sigue diciendo que tengo todas las url bloqueadas. ¿Que puede ser?

Tengo el YoastSEO pero lo tengo todo bien configurado y la opción disuadir los motores de búsqueda desactivado. Mes estoy volviendo loco 🙁

- - - Actualizado - - -

Brandon Díaz dijo:

HTML:

User-agent: * 
Disallow: /wp-content/plugins/ 

Sitemap: http://www.gameit.es/sitemap.xml

Coloca este. Según el estándar debes tener una línea de separación entre esas instrucciones, y agregar la línea Allow:/ es inútil pues ese es el comportamiento por default.

Hacer clic para expandir...

Me contesto yo mismo, ya está solucionado.
Es tal y como dice Brandon, pero hay que dejarle tiempo a la web a que haga un nuevo rastreo. (Unas cuantas horas o un par de días)