X
xcodex
Hace tiempo estoy pensando como podría hacer para evitar los Crawlers en mi web.
¿Qué métodos utilizan ustedes que no sea Cloudfare?.
¿Qué métodos utilizan ustedes que no sea Cloudfare?.
Phil Këvin
Gamma
Verificación en dos pasos activada
Verificado por Whatsapp
Utilizar robots.txt es una alternativa.
Por ejemplo:
Por ejemplo:
Insertar CODE, HTML o PHP:
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: AhrefsBot
Disallow: /Temas similares
