¿Cómo configurar Robot.txt en WordPress correctamente?

  • Autor Autor ulises
  • Fecha de inicio Fecha de inicio
U

ulises

Épsilon
Hola buen dia comunidad Foro beta..
Como el nombre del titulo lo menciona, me gustaria poder configurar el archivo robot.txt de wordpress, actualmente lo tengo de esta manera..

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://www.elpsicoasesor.com/sitemap.xml

pero no estoy seguro si es la adecuada ya que me dice que tiene 569 URL bloqueadas en las que supongo que son mis post :/
alguien podria orientarme en esto y si estoy mal me vendria bien que me corrigieran.. gracias 🙂
 
Antes que todo...

quien o donde te dice que tenes 569 url bloqueadas ?
 
Yo lo tengo así:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.cgi$

User-agent: Googlebot-Image
Disallow:
Allow: /*

Sitemap: http://www.AQUI-PONE-TU-WEB.com/sitemap.xml
Disallow: /?s=
Disallow: /search

Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$

User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /

User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10
 
jlchevrolet dijo:
Antes que todo...

quien o donde te dice que tenes 569 url bloqueadas ?
Hacer clic para expandir...

gracias por tu pronta respuesta... quien me lo dijo fue las herramientas webmaster de google aqui dejo una imagen

url.webp
 
Porque esta no es la primera versión de tu robots.txt... cuál tenías antes? Esa que tenías antes te esta causando esos mensajes.
 
IngresosWeb dijo:
Yo lo tengo así:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.cgi$

User-agent: Googlebot-Image
Disallow:
Allow: /*

Sitemap: http://www.AQUI-PONE-TU-WEB.com/sitemap.xml
Disallow: /?s=
Disallow: /search

Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$

User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /

User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10
Hacer clic para expandir...

Gracias por el dato.. por lo visto tengo que decirle a los robots de google que indexen solo los post verdad?
 
ulises dijo:
gracias por tu pronta respuesta... quien me lo dijo fue las herramientas webmaster de google aqui dejo una imagen

Ver el archivo adjunto 24470
Hacer clic para expandir...

perdoname pero no se a quien se le ocurrio incluir tu sitemap.

ingresa aqui y miralo voz mismo http://www.elpsicoasesor.com/robots.txt

vas a ver esto.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://www.elpsicoasesor.com/sitemap.xml


Obviamente estas bloqueando todo tu sitio completo

---------- Post agregado el 17-mar-2014 hora: 23:34 ----------
ulises dijo:
gracias por tu pronta respuesta... quien me lo dijo fue las herramientas webmaster de google aqui dejo una imagen

Ver el archivo adjunto 24470
Hacer clic para expandir...

perdoname pero no se a quien se le ocurrio incluir tu sitemap.

ingresa aqui y miralo voz mismo http://www.elpsicoasesor.com/robots.txt

vas a ver esto.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://www.elpsicoasesor.com/sitemap.xml


Obviamente estas bloqueando todo tu sitio completo
 
IngresosWeb dijo:
Yo lo tengo así:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.cgi$

User-agent: Googlebot-Image
Disallow:
Allow: /*

Sitemap: http://www.AQUI-PONE-TU-WEB.com/sitemap.xml
Disallow: /?s=
Disallow: /search

Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$

User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /

User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10
Hacer clic para expandir...

Cuando indicas a un bot en específico algunas líneas, como en:

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.cgi$

Entonces SOLO CUMPLE ESAS LÍNEAS. Ya no "cumpliría" estas:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/

ulises dijo:
gracias por tu pronta respuesta... quien me lo dijo fue las herramientas webmaster de google aqui dejo una imagen

Ver el archivo adjunto 24470
Hacer clic para expandir...

¿Y qué URLs son?

En general si quieres saber como usar el robots.txt puedes checarlo acá
 
dicen que el sitemap de Seo by yoast es muy regular, por eso cuando yo usaba yoast tenia este: Google XML Sitemaps v3 for qTranslate

ahora uso All in One seo pack Pro que es mas liviano que el SEO by Yoast y ya trae un Sitemap por defecto muy bueno..
 
jlchevrolet dijo:
perdoname pero no se a quien se le ocurrio incluir tu sitemap.

ingresa aqui y miralo voz mismo http://www.elpsicoasesor.com/robots.txt

vas a ver esto.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://www.elpsicoasesor.com/sitemap.xml


Obviamente estas bloqueando todo tu sitio completo
Hacer clic para expandir...

😵

No mi buen, no está bloqueando su sitio completo.

---------- Post agregado el 17-mar-2014 hora: 17:43 ----------
IngresosWeb dijo:
dicen que el sitemap de Seo by yoast es muy regular, por eso cuando yo usaba yoast tenia este: Google XML Sitemaps v3 for qTranslate

ahora uso All in One seo pack Pro que es mas liviano que el SEO by Yoast y ya trae un Sitemap por defecto muy bueno..
Hacer clic para expandir...

En realidad el mapa de Wordpress SEO (El plugin de Yoast) es mejor cuando se cuenta con muchas URLs.

Mientras ambos en realidad hacen su trabajo bien.
 
Galbatorix dijo:
Porque esta no es la primera versión de tu robots.txt... cuál tenías antes? Esa que tenías antes te esta causando esos mensajes.
Hacer clic para expandir...

tienes razon, tenia un site map anterior pero ya lo elimine... por lo que se "supone" tendria que estar actualizado...
la verdad conosco poco de webmaster y apenas se colocar el site map. Galbatorix alguna idea de como podria solucionar esto? Gracias por el dato que mencionaste no pense que el anterior sitemap estaba afectado :/
 
Creo que eso pasa cuando uno empieza un blog en WordPress marca una casilla que pregunta si quieres que te encuentre Google o que te indexe Google... o algo asi. Entonces WP agrega a robots un Disallow:/ y ya... Google no te indexa.

Yo uso un robots.txt como este:

Insertar CODE, HTML o PHP: 
[COLOR=#000000]User-agent: *[/COLOR]
[COLOR=#000000]Allow: /[/COLOR]
[COLOR=#000000]Sitemap: [/COLOR][URL="http://forobeta.com/redirect-to/?redirect=http%3A%2F%2Fwww.elpsicoasesor.com%2Fsitemap.xml"]http://www.elpsicoasesor.com/sitemap.xml[/URL]

Y me va muy bien.
 
Brandon Díaz dijo:
Cuando indicas a un bot en específico algunas líneas, como en:

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.cgi$

Entonces SOLO CUMPLE ESAS LÍNEAS. Ya no "cumpliría" estas:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Hacer clic para expandir...


Gracias 🙂 no sabía esto!!.. ahora lo dejo todo así:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /author/
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.cgi$
Disallow: /*.doc$
Disallow: /*.pdf$
Disallow: /*.zip$
Allow: /wp-content/uploads/



.
 
Última edición:
Galbatorix dijo:
Creo que eso pasa cuando uno empieza un blog en WordPress marca una casilla que pregunta si quieres que te encuentre Google o que te indexe Google... o algo asi. Entonces WP agrega a robots un Disallow:/ y ya... Google no te indexa.

Yo uso un robots.txt como este:

Insertar CODE, HTML o PHP: 
[COLOR=#000000]User-agent: *[/COLOR]
[COLOR=#000000]Allow: /[/COLOR]
[COLOR=#000000]Sitemap: [/COLOR][URL="http://forobeta.com/redirect-to/?redirect=http%3A%2F%2Fwww.elpsicoasesor.com%2Fsitemap.xml"]http://www.elpsicoasesor.com/sitemap.xml[/URL]

Y me va muy bien.
Hacer clic para expandir...

Ese robots.txt es el robots.txt "comodín"

Le dices a los bots: "Si, rastreen todo mi sitio". Pero ese es el comportamiento por default así que realmente ahí no haces más que indicarle el sitemap a esos bots... lo cual está bien a fin de cuentas.

Como dije en mi artículo:

Aunque este es el comportamiento por default de los bots (tratar de rastrear todo lo que puedan de un sitio) es mejor tener un robots.txt en el sitio, de lo contrario algunos bots pueden interpretar la ausencia del archivo como un error 404.
Hacer clic para expandir...
 
Hay que estar conectado o registrado para responder aquí.

Temas similares

J
Cómo configurar robot.txt para quitar advertencias en sitemap de YoastSEO
Respuestas
0
Visitas
653
Jonathan Ortega
J
msfrek23
Cómo crear archivo robot.txt en WordPress
Respuestas
7
Visitas
784
TheZDownload
T
R
Guía para modificar el robot.txt en Wordpress
Respuestas
8
Visitas
1K
ronpsp
R
anggar85
Cómo configurar robot.txt en Blogger para evitar indexación
Respuestas
8
Visitas
2K
webbber
W
fidel056
Mejorando el archivo robot.txt en Wordpress
Respuestas
7
Visitas
3K
fidel056
fidel056
Atrás
Arriba