O que tem de ruim nessas aranhas e bots no sitemap?

  • Autor Autor vbluis
  • Data de início Data de início
Tradução em andamento: em alguns minutos este tópico estará em português. Por enquanto, o conteúdo está no original em espanhol. Ver original
vbluis

vbluis

Delta
Hola amigos, he visto que se recomienda deshabilitar el acceso a estas arañas y bots en el sitemap, pero no sé el motivo, podéis dar alguna pista sobre ellas, son en general... malvadas o me puedes repercutir negativamente?
Gracias

User-agent: SensikaBot
Disallow: /

User-agent: magpie-crawler
Disallow: /

User-agent: Toplistbot
Disallow: /

User-Agent: trendictionbot
Disallow: /

User-agent: ltx71
disallow: /

User-agent: Xenu's Link Sleuth 1.1c
Disallow: /

User-agent: Xenu's
Disallow: /

User-agent: TurnitinBot
Disallow: /

User-agent: URLMetriken
Disallow: /

User-agent: urlfan-bot
Disallow: /

User-agent: WebAlta Crawler
Disallow: /

User-agent: WebmasterCoffee
Disallow: /

User-agent: Riddler
Disallow: /

User-Agent: Webwiki
Disallow: /

User-agent: WebsiteWiki
Disallow: /

User-agent: Whitevector Crawler
Disallow: /

User-agent: Psbot
Disallow: /

User-agent: Superfeedr
Disallow: /

User-agent: Whitevector
Disallow: /

User-agent: ConveraCrawler/0.9d
Disallow: /

User-agent: ConveraCrawler/0.9e
Disallow: /
 
Foi útil? Participe da conversa

Com sua conta grátis você pode responder, mandar mensagem privada ao autor e comprar com Saldo retido: o pagamento é liberado quando você recebe o combinado.

Leva 30 segundos · você volta a este tópico ao terminar
Voltar
Topo