Cómo solucionar el bloqueo de página principal por robots.txt

zarloz1 · 3 Jun 2013

pues mi web anda mal dice que el robots.txt bloqueo la pagina principal me pueden ayudar a que no salga eso y en wonderwebware sitemap generator se pueda leer,
al que me ayude tendra un recompensa por paypal ojo esto no es un negocio e.e o un robots que desbloque todo, cabe aclarar que no tengo robots.txt

en google aparece: No se dispone de una descripción de este resultado debido a robots.txt. Más información.

Brandon Díaz · 3 Jun 2013

Espera espera... ¿Como puedes no tener un robots.txt y tener resultados bloqueados por robots.txt??

¿Cuál es tu URL?

zarloz1 · 3 Jun 2013

Satanarchist dijo:
Espera espera... ¿Como puedes no tener un robots.txt y tener resultados bloqueados por robots.txt??

¿Cuál es tu URL?

ni idea :ghost::ghost::ghost:

Brandon Díaz · 3 Jun 2013

zarloz1 dijo:
ni idea :ghost::ghost::ghost:

Pero entonces... ¿Cuál es tu URL?

zarloz1 · 3 Jun 2013

Satanarchist dijo:
Pero entonces... ¿Cuál es tu URL?

busca Toyreloco | AlgoNuevo

Mr. Nitro · 3 Jun 2013

pon tu sitio web para poderte ayudar mejor, saludos

Brandon Díaz · 3 Jun 2013

zarloz1 dijo:
busca Toyreloco | AlgoNuevo

Porr supuesto que tienes un robots.txt :

http://toyreloco.com/robots.txt

Y estas impidiendo el acceso a TODOS LOS CRAWLERS con

User-agent: *
Disallow: /

!!

---------- Post agregado el 03-jun-2013 hora: 09:00 ----------

Probablemente tienes habilitada la opcion en wordpress para disuadir a los motores de busqueda de indexar el sitio...

irwin238 · 3 Jun 2013

http://puu.sh/37rK9.png

Tienes esa meta, con razon no te indexa ni te sige enlaces, cambia eso por esto:

<meta name='robots' content='index,follow' />

creo que wordpress tiene una opcion que te dice pregunta si quieres ser indexado buscala y deseleccionala.

zarloz1 · 3 Jun 2013

fucker en mi directorio no esta._.

Satanarchist dijo:
Porr supuesto que tienes un robots.txt :

http://toyreloco.com/robots.txt

Y estas impidiendo el acceso a TODOS LOS CRAWLERS con

User-agent: *
Disallow: /

!!

---------- Post agregado el 03-jun-2013 hora: 09:00 ----------

Probablemente tienes habilitada la opcion en wordpress para disuadir a los motores de busqueda de indexar el sitio...

Brandon Díaz · 3 Jun 2013

irwin238 dijo:
http://puu.sh/37rK9.png

Tienes esa meta, con razon no te indexa ni te sige enlaces, cambia eso por esto:

<meta name='robots' content='index,follow' />

creo que wordpress tiene una opcion que te dice pregunta si quieres ser indexado buscala y deseleccionala.

tiene razon este cuate, deshabilita esa meta tag
<meta name='robots' content='noindex,nofollow' />

Sin embargo, no es necesario que la cambies por "index, follow", ya que ese es el comportamiento por default de los rastreadores y es irrelevante que la pongas

Mr. Nitro · 3 Jun 2013

zarloz1 dijo:
fucker en mi directorio no esta._.

si está, acabo de verlo:

http://toyreloco.com/robots.txt

User-agent: *
Disallow: /

Sitemap: Toyreloco | AlgoNuevo

solo deja la linea del sitemap

zarloz1 · 3 Jun 2013

pasa tu paypal

Satanarchist dijo:
Porr supuesto que tienes un robots.txt :

http://toyreloco.com/robots.txt

Y estas impidiendo el acceso a TODOS LOS CRAWLERS con

User-agent: *
Disallow: /

!!

---------- Post agregado el 03-jun-2013 hora: 09:00 ----------

Probablemente tienes habilitada la opcion en wordpress para disuadir a los motores de busqueda de indexar el sitio...

Brandon Díaz · 3 Jun 2013

zarloz1 dijo:
pasa tu paypal

Ya te lo envíe, junto con una par de recomendaciones

kleber · 3 Jun 2013

zarloz1 dijo:
busca Toyreloco | AlgoNuevo

Te recomiendo este robots.txt el cual es perfecto para los sitios creados en Wordpress, lo publique en mi blog por si te interesa:

El robots.txt perfecto para Wordpress con el fin de posicionarse en Google*|*Pasión SEO | Aprende SEO gratis

Saludos

Brandon Díaz · 3 Jun 2013

kleber dijo:
Te recomiendo este robots.txt el cual es perfecto para los sitios creados en Wordpress, lo publique en mi blog por si te interesa:

El robots.txt perfecto para Wordpress con el fin de posicionarse en Google*|*Pasión SEO | Aprende SEO gratis

Saludos

Amigo, el codigo que ofreces en tu sitio ESTA MAL

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-
Sitemap: http://www.AQUI-TU-DOMINIO.com/sitemap.xml
Disallow: /?s=
Disallow: /search
Allow: /feed/$
Disallow: /feed

¿Qué hace esa "Sitemap: " ahí?

Hay muchos validadores online de archivos robots, te recomiendo que te familiarices con ellos
Y claro, aquí esta la web oficial: The Web Robots Pages

kleber · 3 Jun 2013

Hola amigo gracias por el aviso, no me había dado cuenta. ya lo corregí. :encouragement:

Brandon Díaz · 3 Jun 2013

kleber dijo:
Hola amigo gracias por el aviso, no me había dado cuenta. ya lo corregí. :encouragement:

Ya solo deja un espacio antes de cada user-agent que este despues del user-agent: *
Y agrega de nuevo el sitemap, suele ponerse hasta el final, con una linea de espacio entre el contenido y éste.

Saludos