¿Cómo evitar los crawlers?

  • Autor Autor xcodex
  • Fecha de inicio Fecha de inicio
X

xcodex

Hace tiempo estoy pensando como podría hacer para evitar los Crawlers en mi web.
¿Qué métodos utilizan ustedes que no sea Cloudfare?.
 
¿Te sirvió? Únete a la conversación

Con tu cuenta gratis puedes responder, escribirle al autor por mensaje privado y comprar con Saldo retenido: el pago se libera cuando recibes lo acordado.

Toma 30 segundos · vuelves a este tema al terminar
Utilizar robots.txt es una alternativa.
Por ejemplo:

Insertar CODE, HTML o PHP:
User-agent: SemrushBot
Disallow: /

User-agent: SemrushBot-SA
Disallow: /

User-agent: AhrefsBot
Disallow: /
 
Atrás
Arriba