Como solucionar o bloqueio da página principal pelo robots.txt

zarloz1 · 03/06/2013

pues mi web anda mal dice que el robots.txt bloqueo la pagina principal me pueden ayudar a que no salga eso y en wonderwebware sitemap generator se pueda leer,
al que me ayude tendra un recompensa por paypal ojo esto no es un negocio e.e o un robots que desbloque todo, cabe aclarar que no tengo robots.txt

en google aparece: No se dispone de una descripción de este resultado debido a robots.txt. Más información.

Brandon Díaz · 03/06/2013

Espera espera... ¿Como puedes no tener un robots.txt y tener resultados bloqueados por robots.txt??

¿Cuál es tu URL?

zarloz1 · 03/06/2013

Satanarchist disse:
Espera espera... ¿Como puedes no tener un robots.txt y tener resultados bloqueados por robots.txt??

¿Cuál es tu URL?

ni idea :ghost::ghost::ghost:

Brandon Díaz · 03/06/2013

zarloz1 disse:
ni idea :ghost::ghost::ghost:

Pero entonces... ¿Cuál es tu URL? 😵

zarloz1 · 03/06/2013

Satanarchist disse:
Pero entonces... ¿Cuál es tu URL? 😵

busca Toyreloco | AlgoNuevo

Mr. Nitro · 03/06/2013

pon tu sitio web para poderte ayudar mejor, saludos

Brandon Díaz · 03/06/2013

zarloz1 disse:
busca Toyreloco | AlgoNuevo

Porr supuesto que tienes un robots.txt :

http://toyreloco.com/robots.txt

Y estas impidiendo el acceso a TODOS LOS CRAWLERS con

User-agent: *
Disallow: /

!!

---------- Post agregado el 03-jun-2013 hora: 09:00 ----------

Probablemente tienes habilitada la opcion en wordpress para disuadir a los motores de busqueda de indexar el sitio...

irwin238 · 03/06/2013

http://puu.sh/37rK9.png

Tienes esa meta, con razon no te indexa ni te sige enlaces, cambia eso por esto:

<meta name='robots' content='index,follow' />

creo que wordpress tiene una opcion que te dice pregunta si quieres ser indexado buscala y deseleccionala.

zarloz1 · 03/06/2013

fucker en mi directorio no esta._.

Satanarchist disse:
Porr supuesto que tienes un robots.txt :

http://toyreloco.com/robots.txt

Y estas impidiendo el acceso a TODOS LOS CRAWLERS con

User-agent: *
Disallow: /

!!

---------- Post agregado el 03-jun-2013 hora: 09:00 ----------

Probablemente tienes habilitada la opcion en wordpress para disuadir a los motores de busqueda de indexar el sitio...

Brandon Díaz · 03/06/2013

irwin238 disse:
http://puu.sh/37rK9.png

Tienes esa meta, con razon no te indexa ni te sige enlaces, cambia eso por esto:

<meta name='robots' content='index,follow' />

creo que wordpress tiene una opcion que te dice pregunta si quieres ser indexado buscala y deseleccionala.

tiene razon este cuate, deshabilita esa meta tag
<meta name='robots' content='noindex,nofollow' />

Sin embargo, no es necesario que la cambies por "index, follow", ya que ese es el comportamiento por default de los rastreadores y es irrelevante que la pongas

Mr. Nitro · 03/06/2013

zarloz1 disse:
fucker en mi directorio no esta._.

si está, acabo de verlo:

http://toyreloco.com/robots.txt

User-agent: *
Disallow: /

Sitemap: Toyreloco | AlgoNuevo

solo deja la linea del sitemap

zarloz1 · 03/06/2013

pasa tu paypal 😛

Satanarchist disse:
Porr supuesto que tienes un robots.txt :

http://toyreloco.com/robots.txt

Y estas impidiendo el acceso a TODOS LOS CRAWLERS con

User-agent: *
Disallow: /

!!

---------- Post agregado el 03-jun-2013 hora: 09:00 ----------

Probablemente tienes habilitada la opcion en wordpress para disuadir a los motores de busqueda de indexar el sitio...

Brandon Díaz · 03/06/2013

zarloz1 disse:
pasa tu paypal 😛

Ya te lo envíe, junto con una par de recomendaciones

kleber · 03/06/2013

zarloz1 disse:
busca Toyreloco | AlgoNuevo

Te recomiendo este robots.txt el cual es perfecto para los sitios creados en Wordpress, lo publique en mi blog por si te interesa:

El robots.txt perfecto para Wordpress con el fin de posicionarse en Google*|*Pasión SEO | Aprende SEO gratis

Saludos

Brandon Díaz · 03/06/2013

kleber disse:
Te recomiendo este robots.txt el cual es perfecto para los sitios creados en Wordpress, lo publique en mi blog por si te interesa:

El robots.txt perfecto para Wordpress con el fin de posicionarse en Google*|*Pasión SEO | Aprende SEO gratis

Saludos

Amigo, el codigo que ofreces en tu sitio ESTA MAL

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-
Sitemap: http://www.AQUI-TU-DOMINIO.com/sitemap.xml
Disallow: /?s=
Disallow: /search
Allow: /feed/$
Disallow: /feed

¿Qué hace esa "Sitemap: " ahí?

Hay muchos validadores online de archivos robots, te recomiendo que te familiarices con ellos
Y claro, aquí esta la web oficial: The Web Robots Pages

kleber · 03/06/2013

Hola amigo gracias por el aviso, no me había dado cuenta. ya lo corregí. :encouragement:

Brandon Díaz · 03/06/2013

kleber disse:
Hola amigo gracias por el aviso, no me había dado cuenta. ya lo corregí. :encouragement:

Ya solo deja un espacio antes de cada user-agent que este despues del user-agent: *
Y agrega de nuevo el sitemap, suele ponerse hasta el final, con una linea de espacio entre el contenido y éste.

Saludos

Como solucionar o bloqueio da página principal pelo robots.txt

zarloz1

Brandon Díaz

zarloz1

Brandon Díaz

zarloz1

Mr. Nitro

Brandon Díaz

irwin238

zarloz1

Brandon Díaz

Mr. Nitro

zarloz1

Brandon Díaz

kleber

Brandon Díaz

kleber

Brandon Díaz

Tópicos similares