Indexada, mas bloqueada pelo robots.txt

  • Autor Autor Pipilin666
  • Data de início Data de início
Este tópico foi traduzido automaticamente do espanhol. Ver original
Pipilin666

Pipilin666

1
Lambda
Verificación en dos pasos activada
Suscripción a IA
A maioria das urls termina em /feed/ e minha dúvida vai por aí, os feed devem ser indexados? isso não fica claro para mim porque li que podem clonar seu conteúdo por meio disso, certo?

Eu tinha bloqueado os feed pelo robots.txt, mas ao ver que eram indexados mesmo assim, o que fiz foi colocar um allow só para o googlebot e outros buscadores:

Inserir CODE, HTML ou PHP:
#Bloquear feed
User-agent: Googlebot
User-agent: Bingbot
User-agent: msnbot
User-agent: Twitterbot
User-agent: baiduspider
User-agent: Yandex
User-agent: Yeti
allow: /feed/
allow: ?feed

Mas agora, testando em algumas url, aparece esta mensagem:

feed.webp


Queria saber o que estou fazendo de errado, ou se não é necessário que os feed sejam indexados, qualquer sugestão é bem-vinda.
 
Foi útil? Participe da conversa

Com sua conta grátis você pode responder, mandar mensagem privada ao autor e comprar com Saldo retido: o pagamento é liberado quando você recebe o combinado.

Leva 30 segundos · você volta a este tópico ao terminar
Eu testaria algo como:

User-agent: Zealbot
Disallow: /feed/

User-agent: MSIECrawler
Disallow: /feed/

User-agent: SiteSnagger
Disallow: /feed/

User-agent: *
Allow: /

Não tenho certeza se é possível colocar vários User-agent seguidos e depois a ordem. Por outro lado, mesmo que depois de um Disallow você coloque User-agent * com um Allow para tudo, o anterior não se altera.

Lembre que, se antes você tinha Disallow: /feed/ para todos os motores e remove a linha, os buscadores podem demorar um tempo para refletir a mudança.

Também, algo comum que já vi em alguns robots txt (é fácil encontrá-los no Google) é isto, talvez te sirva:
Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$

 
Voltar
Topo