Guía Robots.txt para optimizar Wordpress SEO

DUQUEredes · 28 Ene 2013

Buenas he creado el siguiente Robots.txt para optimizar Wordpress a nivel SEO, os lo comparto por si alguién quiere utilizarlo.

Advertencia: Cuidado con el copy&paste ya que aunque se explica en cada línea lo que hace tenéis que leer por si queréis quitar o poner alguna línea más.

Insertar CODE, HTML o PHP:

#Ponemos todos los sitemaps

Sitemap: http://www.tuweb.com/sitemap.xml
Sitemap: http://www.tuweb.com/sitemap.xml.gz
Sitemap: http://www.tuweb.com/sitemap-image.xml
Sitemap: http://www.tuweb.com/sitemap-video.xml

#Dejamos al robot de publicidad de google que entre hasta la cocina para evitar problemas con la publicidad en paginaciones, búsquedas, etc…

User-agent: Mediapartners-Google
Allow: /

#Desindexamos todo lo que empiece por wp- a excepción de la carpeta uploads

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-

#Desindexamos cualquier tipo de búsqueda y cualquier ruta que pueda llevar el parámetro ? en la url

Disallow: /*?
Disallow: /search/

#Desindexamos cualquier archivo que termine con la extensión .php .js .inc .css

Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

#Desindexamos carpetas de logs, estadísticas y scripts

Disallow: /cgi-bin/
Disallow: /stats/
Disallow: /logs/

#Desindexamos todas las paginaciones

Disallow: /page*/

#Desindexamos posibles páginas con contenido duplicado o que no nos interesan, entre ellas los archivos, los comentarios, las páginas de autor y las tags

Disallow: /comments/
Disallow: /archives/
Disallow: /author/
Disallow: /tag/

#Desindexamos los feeds, trackbacks y attachments

Disallow: /feed*/
Disallow: /trackback*/
Disallow: /attachment*/

domox · 28 Ene 2013

Excelente ... eso evita mucho contenido duplicado de tu sitio sobre todo aquellas que paginan su contenido.

darkterry · 28 Ene 2013

buen aporte es lo mismo que estube haciendo hace unos dias pero con un plugins pero ya me ganaste con el reporte asi que te doy 10+ por compartirlo estare trabajando en otras cosas de SEO para el wordpress y tambien lo pasare por algun hilo saludos

drack2000 · 28 Ene 2013

Se ve muy bueno e interesante lo que has publicado,
voy a aplicarlo y a poner esta página en mis favoritos por si se me olvida... :encouragement:

kHanONE · 28 Ene 2013

Se agradece el aporte! 🙂 :encouragement:

Beneco · 28 Ene 2013

Buen aporte gracias bro 😛8:

Maniman · 28 Ene 2013

Un gran aporte de vereas y muchas gracias por haberlo compartido , muy util

Joss · 28 Ene 2013

Excelente! sin embargo no hay porque desindexar las tags, lo que si habría que desindexar serian todos los feed y trackback. :encouragement:

Insertar CODE, HTML o PHP:

Disallow: /comments/feed   
Disallow: /*/feed/$   
Disallow: /*/feed/rss/$   
Disallow: /*/trackback/$   
Disallow: /*/*/feed/$   
Disallow: /*/*/feed/rss/$   
Disallow: /*/*/trackback/$   
Disallow: /*/*/*/feed/$   
Disallow: /*/*/*/feed/rss/$   
Disallow: /*/*/*/trackback/$

DUQUEredes · 28 Ene 2013

Por eso comento que cada uno que lo adapte como quiera, yo no suelo dejar indexar las tags.

Por cierto con ese robots.txt si que se te indexa el feed. 😛

quimbox · 28 Ene 2013

DUQUEredes dijo:
Por eso comento que cada uno que lo adapte como quiera, yo no suelo dejar indexar las tags.

Por cierto con ese robots.txt si que se te indexa el feed. 😛

Gracias por este archivo! Y pues es verdad cada quien que lo adapte a su manera. Yo por ejemplo dejo los tags porque tengo algunas palabras bien posicionadas con el mismo.

Y lo que no entiendo es eso de si que se indexa el feed?

brunouy · 28 Ene 2013

Joss dijo:
Excelente! sin embargo no hay porque desindexar las tags, lo que si habría que desindexar serian todos los feed y trackback. :encouragement:

Insertar CODE, HTML o PHP:

Disallow: /comments/feed Disallow: /*/feed/$ Disallow: /*/feed/rss/$ Disallow: /*/trackback/$ Disallow: /*/*/feed/$ Disallow: /*/*/feed/rss/$ Disallow: /*/*/trackback/$ Disallow: /*/*/*/feed/$ Disallow: /*/*/*/feed/rss/$ Disallow: /*/*/*/trackback/$

Joss sin dudas es muy relativo que uses el indexado o no de Categorias, Páginas de Autor, Tags, Archivos de Fechas, Resultados de Búsquedas y depende creo básicamente del Theme, pero sin lugar a dudas lo más recomendable es desindexar las tags que junto con los resultados de busqueda, feeds y trackback son grandes generadores de contenido dupliado que además bajan la valoración del sitio en general.

Yo hace una semana he optado por no indexar unicamente los posts y la primera página de cada Categoría el resto he bloqueado todo con robots + Metatags y todo indica que está dando resultado.

Pero como dije, cada sitio es muy relativo, hay que hacer un estudio para cada caso si bien hay cosas elementales...

arturodel8 · 28 Ene 2013

se que es una pregunta demasiado novata pero que tan importante es el robot.tx para el seo?

brunouy · 28 Ene 2013

arturodel8 dijo:
se que es una pregunta demasiado novata pero que tan importante es el robot.tx para el seo?

Vinculandolo con el SEO, diría que es una herramienta de apoyo para realizar un buen SEO evitando contenido duplicado, bloqueando el acceso de los rastreadores a determinados sectores de tu web evitando así su indexado. Lo que a su vez los hace consumir menos recursos y ancho de banda cosa que le gusta al gran G.

EliJ · 28 Ene 2013

Muy bueno, será de mucha utilidad :encouragement:

DUQUEredes · 28 Ene 2013

No no se indexa el feed con el robots.txt que ha puesto Joss

ramonjosegn · 28 Ene 2013

Yo intenté con robots.txt y tuve malas experiencias, volví a dejar que Wordpress se invente su propio sistema... menos quebradero de cabeza, aunque estoy usando un plugin para evitar contenido duplicado...

Joss · 28 Ene 2013

brunouy dijo:
Joss sin dudas es muy relativo que uses el indexado o no de Categorias, Páginas de Autor, Tags, Archivos de Fechas, Resultados de Búsquedas y depende creo básicamente del Theme, pero sin lugar a dudas lo más recomendable es desindexar las tags que junto con los resultados de busqueda, feeds y trackback son grandes generadores de contenido dupliado que además bajan la valoración del sitio en general.

Yo hace una semana he optado por no indexar unicamente los posts y la primera página de cada Categoría el resto he bloqueado todo con robots + Metatags y todo indica que está dando resultado.

Pero como dije, cada sitio es muy relativo, hay que hacer un estudio para cada caso si bien hay cosas elementales...

Lo que sucede es que antes si había el problema de contenido duplicado pero en la actualidad no, el plugin all-in-one-seo-pack pone el atributo rel="canonical" a las paginas de tags y de categorías, así google sabe que es contenido duplicado pero preferido y no penaliza.

Acerca de rel="canonical" - Ayuda de Herramientas para webmasters de Google

Menciono esto porque he visto que en algunos casos google indexa mejor la pagina de tags sobre los post y sobre las categorías. :witless:

brunouy · 28 Ene 2013

Joss dijo:
Lo que sucede es que antes si había el problema de contenido duplicado pero en la actualidad no, el plugin all-in-one-seo-pack pone el atributo rel="canonical" a las paginas de tags y de categorías, así google sabe que es contenido duplicado pero preferido y no penaliza.

No penaliza pero te genera contenido duplicado interno, eso baja la calidad del contenido y la valoración del sitio en general, evalúa si realmente es productivo indexarlas o no...

Imagina una busqueda donde se encuentre la url de "tags" de la "Categoría" y el post propiamente dicho, a donde apunta rel="canonical"? Hacia el post evidentemente, eso quiere decir que de 3 tienes 2 URL que son de baja calidad y si realmente posiciona por el tag??? cuantas sub-paginas más tienes indexadas innecesariamente para que apunten a un Post ya que tanto "tags" como "categorías" no llevan rel="canonical" (Aquí entra robots.txt en acción...)

A eso Google le llama contenido de Baja Calidad...

Joss dijo:
Menciono esto porque he visto que en algunos casos google indexa mejor la pagina de tags sobre los post y sobre las categorías. :witless:

Convendramos que deben ser casos muy particulares....

webbber · 28 Ene 2013

bloquear las etiquetas seria diferentes si tienes las urls de las etiquetas diferentes
/sobre/
en vez de
/tag/

Tukuta · 28 Ene 2013

Gran aporte gracias

Guía Robots.txt para optimizar Wordpress SEO

DUQUEredes

domox

darkterry

drack2000

kHanONE

Beneco

Maniman

Joss

DUQUEredes

quimbox

brunouy

arturodel8

brunouy

EliJ

DUQUEredes

ramonjosegn

Joss

brunouy

webbber

Tukuta

Temas similares