Pipilin666
1
Lambda
Verificación en dos pasos activada
Usuário popular!
Suscripción a IA
A maioria das urls termina em /feed/ e minha dúvida vai por aí, os feed devem ser indexados? isso não fica claro para mim porque li que podem clonar seu conteúdo por meio disso, certo?
Eu tinha bloqueado os feed pelo robots.txt, mas ao ver que eram indexados mesmo assim, o que fiz foi colocar um allow só para o googlebot e outros buscadores:
Mas agora, testando em algumas url, aparece esta mensagem:
Queria saber o que estou fazendo de errado, ou se não é necessário que os feed sejam indexados, qualquer sugestão é bem-vinda.
Eu tinha bloqueado os feed pelo robots.txt, mas ao ver que eram indexados mesmo assim, o que fiz foi colocar um allow só para o googlebot e outros buscadores:
Inserir CODE, HTML ou PHP:
#Bloquear feed
User-agent: Googlebot
User-agent: Bingbot
User-agent: msnbot
User-agent: Twitterbot
User-agent: baiduspider
User-agent: Yandex
User-agent: Yeti
allow: /feed/
allow: ?feed
Mas agora, testando em algumas url, aparece esta mensagem:
Queria saber o que estou fazendo de errado, ou se não é necessário que os feed sejam indexados, qualquer sugestão é bem-vinda.