Problema con Sitemap y Robots.txt

Euritos · 25 Feb 2014

Buenas

Acabo de empezar un blog nuevo ayer y a la hora de mandar el sitemap a webmaster tools me dice: "URL restringida por robots.txt"

Me restringe todo el blog, es muy raro pq tengo el robots.txt generico... y tb lo he cambiado varias veces y no hay manera..

Hoy me ha llegado otro mensaje en WT: "Se han detectado incidencias graves relacionadas con el estado de tu sitio. -" y es por el robots.txt claro :s

el robots que tengo ahora por ejemplo es este:

User-agent: *
Allow: /

Sitemap: http://**********.com/sitemap.xml
Sitemap: http://**********.com/sitemap.xml.gz

Alguien tiene idea de que puede estar pasando?

Galbatorix · 25 Feb 2014

Eso tarda días. A veces semanas. Tal vez cuando estabas creando tu sitio usabas Disallow. Es mas, Wordpress pregunta durante la instalación si quieres que tu sitio sea encontrado por los buscadores, si respondes que no, crea una línea Disallow en robots.txt.

Adicionalmente, debes asegurarte que no tengas en tus páginas una meta etiqueta "robots", porque esa también funciona igual que el archivo txt.

Sent from my Galaxy Nexus using Tapatalk

ramonjosegn · 25 Feb 2014

Wordpress no necesita un "robots.txt" ya que lo genera internamente, si te metes a añadir otro "robots.txt" sin motivos especiales, sólo vas a conseguir tener problemas, como es tu caso

También revisa lo que comenta [MENTION=43787]Galbatorix[/MENTION] que no tengas activada la opción de "no indexar el sitio web"

---------- Post agregado el 25-feb-2014 hora: 09:53 ----------

Ajustes > Lectura > Visibilidad para los buscadores ||*Disuade a los motores de búsqueda de indexar este sitio

Depende de los motores de búsqueda atender esta petición o no.

tiene que estar desmarcado

Euritos · 25 Feb 2014

ramonjosegn dijo:
Wordpress no necesita un "robots.txt" ya que lo genera internamente, si te metes a añadir otro "robots.txt" sin motivos especiales, sólo vas a conseguir tener problemas, como es tu caso

También revisa lo que comenta [MENTION=43787]Galbatorix[/MENTION] que no tengas activada la opción de "no indexar el sitio web"

---------- Post agregado el 25-feb-2014 hora: 09:53 ----------

Ajustes > Lectura > Visibilidad para los buscadores ||*Disuade a los motores de búsqueda de indexar este sitio

Depende de los motores de búsqueda atender esta petición o no.

tiene que estar desmarcado

Galbatorix dijo:
Eso tarda días. A veces semanas. Tal vez cuando estabas creando tu sitio usabas Disallow. Es mas, Wordpress pregunta durante la instalación si quieres que tu sitio sea encontrado por los buscadores, si respondes que no, crea una línea Disallow en robots.txt.

Adicionalmente, debes asegurarte que no tengas en tus páginas una meta etiqueta "robots", porque esa también funciona igual que el archivo txt.

Sent from my Galaxy Nexus using Tapatalk

Asi es, al principio le dije al propio wordpress que el sitio no fuera encontrado por los bucadores. Ayer ya lo cambie para que lo encuentre y puse el robots.txt, el sitemap y todo lo demas correctamente.

Creeis entonces que es cuestion de tiempo hasta q el webmaster tools acepte el sitemap y no de error del robots.txt?

Galbatorix · 25 Feb 2014

Euritos dijo:
Asi es, al principio le dije al propio wordpress que el sitio no fuera encontrado por los bucadores. Ayer ya lo cambie para que lo encuentre y puse el robots.txt, el sitemap y todo lo demas correctamente.

Crees entonces que es cuestion de tiempo hasta q el webmaster tools acepte el sitemap y no de error del robots.txt?

Ajá, es cuestión de tiempo. Pero si lo hiciste ayer y hoy quieres ver los cambios, entonces debo decir que es cuestión de MUCHO tiempo, a veces tarda más de una semana.

Tu sigue actualizando normal. Si tú dominio es nuevo tienes meses para que se normalice la situación.

Sent from my Galaxy Nexus using Tapatalk

ramonjosegn · 25 Feb 2014

Euritos dijo:
Asi es, al principio le dije al propio wordpress que el sitio no fuera encontrado por los bucadores. Ayer ya lo cambie para que lo encuentre y puse el robots.txt, el sitemap y todo lo demas correctamente.

Creeis entonces que es cuestion de tiempo hasta q el webmaster tools acepte el sitemap y no de error del robots.txt?

Sí eso lleva tiempo... yo una vez hice eso mismo y la verdad que para que volviera a reconocer el sitio fue una locura, -desde entonces dejo siempre que indexe-, no recuerdo cómo "forcé" a que Google tuviera el sitio en cuenta, pero no fue fácil, creo que lo eliminé de Webmasters Tools y esperé 15 días y volvía registrarlo si mal no recuerdo

Euritos · 25 Feb 2014

Gracias chicos :encouragement:, entonces tocara esperar.

Lo que si, nunca mas vuelvo a utilizar la opcion de decirle a wordpress que no indexe el sitio jaja

Problema con Sitemap y Robots.txt

Euritos Siguiendo

Galbatorix

ramonjosegn

Euritos

Galbatorix

ramonjosegn

Euritos