Guia de Robots.txt para otimizar SEO no WordPress

  • Autor Autor DUQUEredes
  • Data de início Data de início
Este tópico foi traduzido automaticamente do espanhol. Ver original
D

DUQUEredes

Gamma
Olá, criei o seguinte Robots.txt para otimizar o WordPress em nível de SEO, compartilho com vocês caso alguém queira utilizá-lo.

Advertência: Cuidado com o copiar e colar, já que, embora cada linha explique o que faz, vocês precisam ler caso queiram remover ou adicionar alguma linha a mais.

Inserir CODE, HTML ou PHP:
#Ponemos todos los sitemaps

Sitemap: http://www.tuweb.com/sitemap.xml
Sitemap: http://www.tuweb.com/sitemap.xml.gz
Sitemap: http://www.tuweb.com/sitemap-image.xml
Sitemap: http://www.tuweb.com/sitemap-video.xml

#Dejamos al robot de publicidad de google que entre hasta la cocina para evitar problemas con la publicidad en paginaciones, búsquedas, etc…

User-agent: Mediapartners-Google
Allow: /

#Desindexamos todo lo que empiece por wp- a excepción de la carpeta uploads

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-

#Desindexamos cualquier tipo de búsqueda y cualquier ruta que pueda llevar el parámetro ? en la url

Disallow: /*?
Disallow: /search/

#Desindexamos cualquier archivo que termine con la extensión .php .js .inc .css

Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

#Desindexamos carpetas de logs, estadísticas y scripts

Disallow: /cgi-bin/
Disallow: /stats/
Disallow: /logs/

#Desindexamos todas las paginaciones

Disallow: /page*/

#Desindexamos posibles páginas con contenido duplicado o que no nos interesan, entre ellas los archivos, los comentarios, las páginas de autor y las tags

Disallow: /comments/
Disallow: /archives/
Disallow: /author/
Disallow: /tag/

#Desindexamos los feeds, trackbacks y attachments

Disallow: /feed*/
Disallow: /trackback*/
Disallow: /attachment*/
 
Foi útil? Participe da conversa

Com sua conta grátis você pode responder, mandar mensagem privada ao autor e comprar com Saldo retido: o pagamento é liberado quando você recebe o combinado.

Leva 30 segundos · você volta a este tópico ao terminar
Excelente... isso evita muito conteúdo duplicado do seu site, principalmente naqueles que paginam seu conteúdo.
 
Boa contribuição, é o mesmo que eu estava fazendo há alguns dias, mas com um plugin, porém você já me ganhou com o post, então te dou 10+ por compartilhar. Estarei trabalhando em outras coisas de SEO para o WordPress e também postarei em algum tópico, abraços.
 
Parece muito bom e interessante o que você publicou,
vou aplicar e colocar esta página nos meus favoritos caso eu me esqueça... :encouragement:
 
Agradeço pela contribuição! 🙂 :encouragement:
 
Boa contribuição, obrigado cara 😛8:
 
Uma ótima contribuição, de verdade, e muito obrigado por ter compartilhado, muito útil.
 
Excelente! No entanto, não há por que desindexar as tags, o que deveria ser desindexado seriam todos os feeds e trackbacks. :encouragement:

Inserir CODE, HTML ou PHP:
Disallow: /comments/feed   
Disallow: /*/feed/$   
Disallow: /*/feed/rss/$   
Disallow: /*/trackback/$   
Disallow: /*/*/feed/$   
Disallow: /*/*/feed/rss/$   
Disallow: /*/*/trackback/$   
Disallow: /*/*/*/feed/$   
Disallow: /*/*/*/feed/rss/$   
Disallow: /*/*/*/trackback/$
 
Por isso comento que cada um adapte como quiser, eu não costumo deixar indexar as tags.

Aliás, com esse robots.txt, o feed é indexado sim. 😛
 
Por isso comento que cada um adapte como quiser, eu não costumo deixar indexar as tags.

Aliás, com esse robots.txt, o feed é indexado sim. 😛

Obrigado por este arquivo! E é verdade, cada um que adapte à sua maneira. Eu, por exemplo, deixo as tags porque tenho algumas palavras bem posicionadas com elas.

E o que não entendo é isso de que o feed é indexado?
 
Excelente! No entanto, não há por que desindexar as tags, o que deveria ser desindexado seriam todos os feeds e trackbacks. :encouragement:

Inserir CODE, HTML ou PHP:
Disallow: /comments/feed   
Disallow: /*/feed/$   
Disallow: /*/feed/rss/$   
Disallow: /*/trackback/$   
Disallow: /*/*/feed/$   
Disallow: /*/*/feed/rss/$   
Disallow: /*/*/trackback/$   
Disallow: /*/*/*/feed/$   
Disallow: /*/*/*/feed/rss/$   
Disallow: /*/*/*/trackback/$


Joss, sem dúvidas é muito relativo usar ou não a indexação de Categorias, Páginas de Autor, Tags, Arquivos de Datas, Resultados de Busca e depende, creio eu, basicamente do tema, mas sem dúvida alguma o mais recomendável é desindexar as tags que, junto com os resultados de busca, feeds e trackbacks, são grandes geradores de conteúdo duplicado que, além disso, baixam a avaliação do site em geral.

Eu, há uma semana, optei por não indexar apenas os posts e a primeira página de cada Categoria; o resto, bloqueei tudo com robots + Metatags e tudo indica que está dando resultado.

Mas como disse, cada site é muito relativo, é preciso fazer um estudo para cada caso, embora existam coisas elementares...
 
sei que é uma pergunta de iniciante, mas quão importante é o robots.txt para o SEO?
 
sei que é uma pergunta de iniciante, mas quão importante é o robots.txt para o SEO?

Vinculando ao SEO, eu diria que é uma ferramenta de apoio para realizar um bom SEO, evitando conteúdo duplicado, bloqueando o acesso dos rastreadores a determinados setores do seu site, evitando assim sua indexação. O que, por sua vez, faz com que consumam menos recursos e largura de banda, algo que o grande G gosta.
 
Muito bom, será de muita utilidade :encouragement:
 
Não, não se indexa o feed com o robots.txt que o Joss colocou
 
Eu tentei com robots.txt e tive más experiências, voltei a deixar que o WordPress invente seu próprio sistema... menos dor de cabeça, embora eu esteja usando um plugin para evitar conteúdo duplicado...
 
Joss, sem dúvidas é muito relativo usar ou não a indexação de Categorias, Páginas de Autor, Tags, Arquivos de Datas, Resultados de Busca e depende, creio eu, basicamente do tema, mas sem dúvida alguma o mais recomendável é desindexar as tags que, junto com os resultados de busca, feeds e trackbacks, são grandes geradores de conteúdo duplicado que, além disso, baixam a avaliação do site em geral.

Eu, há uma semana, optei por não indexar apenas os posts e a primeira página de cada Categoria; o resto, bloqueei tudo com robots + Metatags e tudo indica que está dando resultado.

Mas como disse, cada site é muito relativo, é preciso fazer um estudo para cada caso, embora existam coisas elementares...

O que acontece é que antes havia o problema de conteúdo duplicado, mas atualmente não; o plugin all-in-one-seo-pack coloca o atributo rel="canonical" nas páginas de tags e de categorias, assim o Google sabe que é conteúdo duplicado, mas preferido, e não penaliza.

Sobre rel="canonical" - Ajuda do Search Console do Google

Menciono isso porque vi que, em alguns casos, o Google indexa melhor a página de tags do que os posts e as categorias. :witless:
 
O que acontece é que antes sim havia o problema de conteúdo duplicado, mas atualmente não. O plugin all-in-one-seo-pack coloca o atributo rel="canonical" nas páginas de tags e de categorias, assim o Google sabe que é conteúdo duplicado, porém preferencial, e não penaliza.

Não penaliza, mas gera conteúdo duplicado interno, isso baixa a qualidade do conteúdo e a avaliação do site em geral. Avalie se realmente é produtivo indexá-las ou não...

Imagine uma busca onde se encontre a URL de "tags", da "Categoria" e o post propriamente dito, para onde aponta o rel="canonical"? Para o post, evidentemente. Isso quer dizer que de 3, você tem 2 URLs que são de baixa qualidade e, se realmente posiciona pela tag??? Quantas subpáginas a mais você tem indexadas desnecessariamente para que apontem para um Post, já que tanto "tags" quanto "categorias" não levam rel="canonical" (Aqui entra o robots.txt em ação...)

A isso o Google chama de conteúdo de Baixa Qualidade...

Menciono isso porque vi que em alguns casos o Google indexa melhor a página de tags do que os posts e as categorias. :witless:

Concordemos que devem ser casos muito particulares....
 
Última edição:
bloquear as etiquetas seria diferente se você tivesse as URLs das etiquetas diferentes
/sobre/
em vez de
/tag/
 
Grande contribuição, obrigado
 
Voltar
Topo