Guía Robots.txt para optimizar Wordpress SEO

  • Autor Autor DUQUEredes
  • Fecha de inicio Fecha de inicio
Excelente aporte!! :encouragement:
 
Se agradece.. quisiera saber si es necesario bloquear las "pages" de la página... mejora en algo?
 
Muchas gracias por este aporte, me servirá mucho para mis sitios. Un saludo!
 
Hola muchas gracias por el aporte, necesito ayuda chicos, copio todo el archivo TXT en un bloque de nota en Windows luego le pongo como nombre robots.txt y lo subo a mi servidor web, copia la url y la pego en la herramienta de Webmaster de google en la sección de rastreo.

Si es así por favor decirme o si no decirme como seria.
Gracias

Enviado desde mi GT-I9300-La Maquina. usando Tapatalk 2
 
ok, pero no hace falta lo envíes en webmaster, también fíjate si quieres bloquear los tags como dicen al principio
Hola muchas gracias por el aporte, necesito ayuda chicos, copio todo el archivo TXT en un bloque de nota en Windows luego le pongo como nombre robots.txt y lo subo a mi servidor web, copia la url y la pego en la herramienta de Webmaster de google en la sección de rastreo.

Si es así por favor decirme o si no decirme como seria.
Gracias

Enviado desde mi GT-I9300-La Maquina. usando Tapatalk 2
 
ok, pero no hace falta lo envíes en webmaster, también fíjate si quieres bloquear los tags como dicen al principio

Gracias nicorto y si no lo envío a webmaster como se dará cuenta las arañas de google, seria con sólo subirlo a mi servidor, si es así me podrías decir donde ponerlo exactamente en mi servidor.
Sobre los tags seria bueno o no indexarlos.

Enviado desde mi GT-I9300-La Maquina. usando Tapatalk 2
 
que yo recuerde no hace falta ni hay donde enviarlo en wb, súbelo al directorio principal, lo necesario es el sitemap.xml, sobre los tags según, si se repiten pues no vale la pena por que te saldrá contenido duplicado
Gracias nicorto y si no lo envío a webmaster como se dará cuenta las arañas de google, seria con sólo subirlo a mi servidor, si es así me podrías decir donde ponerlo exactamente en mi servidor.
Sobre los tags seria bueno o no indexarlos.

Enviado desde mi GT-I9300-La Maquina. usando Tapatalk 2
 
que yo recuerde no hace falta ni hay donde enviarlo en wb, súbelo al directorio principal, lo necesario es el sitemap.xml, sobre los tags según, si se repiten pues no vale la pena por que te saldrá contenido duplicado


gracias nicorto, una cosita mas el creador del archivo robots.txt pone como advertencia cuidado con el copy paste, a que se refiere con eso, o que tengo que hacer.
 
que te fijes en lo que quieres agregar para bloquear o no :encouragement:
gracias nicorto, una cosita mas el creador del archivo robots.txt pone como advertencia cuidado con el copy paste, a que se refiere con eso, o que tengo que hacer.


---------- Post agregado el 22-abr-2013 hora: 12:32 ----------

si te sirve de algo, yo lo tengo así, no bloqueo los tags a tener en cuenta si se repiten mejor bloquearlos

Insertar CODE, HTML o PHP:
Sitemap: http://www.sitio.com/sitemap.xml

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# digg mirror
User-agent: duggmirror
Disallow: /

# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Disallow: /wp-login.php
Allow: /wp-content/uploads/
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.php$
Disallow: /author/
Disallow: /wp-
Disallow: /?s=
Disallow: /search
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: /

User-agent: noxtrumbot
Crawl-delay: 150

User-agent: msnbot
Crawl-delay: 130

User-agent: Slurp
Crawl-delay: 110

User-agent: Mediapartners-Google
Allow: /*
 
que te fijes en lo que quieres agregar para bloquear o no :encouragement:


---------- Post agregado el 22-abr-2013 hora: 12:32 ----------

si te sirve de algo, yo lo tengo así, no bloqueo los tags a tener en cuenta si se repiten mejor bloquearlos

Insertar CODE, HTML o PHP:
Sitemap: http://www.sitio.com/sitemap.xml

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# digg mirror
User-agent: duggmirror
Disallow: /

# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Disallow: /wp-login.php
Allow: /wp-content/uploads/
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.php$
Disallow: /author/
Disallow: /wp-
Disallow: /?s=
Disallow: /search
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: /

User-agent: noxtrumbot
Crawl-delay: 150

User-agent: msnbot
Crawl-delay: 130

User-agent: Slurp
Crawl-delay: 110

User-agent: Mediapartners-Google
Allow: /*


Nicorto este robots para que sirve:

User-agent: WebCopier
Disallow: /
 
Nicorto este robots para que sirve:

User-agent: WebCopier
Disallow: /

Te contesto yo que estoy de paso, Webcopier es un robot que copia contenido de webs y con esa acción la bloqueas de entrar a la raíz del wp.
 
Te contesto yo que estoy de paso, Webcopier es un robot que copia contenido de webs y con esa acción la bloqueas de entrar a la raíz del wp.

Muchas gracias por la aclaración.
 
Gracais totales!
 
hey muchas gracias
 
gracias, voy a implementarlo en mi sitio

que te fijes en lo que quieres agregar para bloquear o no :encouragement:


---------- Post agregado el 22-abr-2013 hora: 12:32 ----------

si te sirve de algo, yo lo tengo así, no bloqueo los tags a tener en cuenta si se repiten mejor bloquearlos

Insertar CODE, HTML o PHP:
Sitemap: http://www.sitio.com/sitemap.xml

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# digg mirror
User-agent: duggmirror
Disallow: /

# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Disallow: /wp-login.php
Allow: /wp-content/uploads/
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.php$
Disallow: /author/
Disallow: /wp-
Disallow: /?s=
Disallow: /search
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: /

User-agent: noxtrumbot
Crawl-delay: 150

User-agent: msnbot
Crawl-delay: 130

User-agent: Slurp
Crawl-delay: 110

User-agent: Mediapartners-Google
Allow: /*
 
ten en cuenta las tags o etiquetas que ahí no están bloqueadas :encouragement:

Para bloquearlas que se debe agregar? ¿Disallow: /*/tags? :topsy_turvy:
 
Atrás
Arriba