marjuanm
Zeta
Programador
Verificación en dos pasos activada
Que tal, revisando las estadísticas de mi sitio me encuentro con el siguiente panorama:
El sitio web es de un cliente y es una simple pagina informativa sobre que hace su negocio, donde contactarte, etc, nada especial la verdad. Pero me encuentro que los bots de semrush y bing estan acaparando todo el ancho de banda de mi sitio con sus visitas, en particular semrush, ¿porqué?.
Ya me había pasado esto con otro sitio donde bingbot no dejaba de pasar en todo momento e igualmente, el consumo de ancho de banda no dejaba de subir, hasta que cambie el tiempo de acceso en el archivo robots.txt y disminuyó considerablemente, usé esto:
User-agent: msnbot
Crawl-delay: 300
User-agent: msnbot-media
Crawl delay: 300
User-agent: bingbot
Crawl delay: 300
Agradezco que estos bots pasen por mis sitios, pero su consumo me parece exagerado, ejemplo este es el consumo de ancho de banda en el sitio donde hice el cambio:
Como pueden notar, cada mes el consumo no paraba de subir hasta que apliqué esa política en el archivo robots.txt y ya se ve un gran cambio. ¿Alguna recomendación que me puedan dar para evitar estos incidentes?, gracias de antemano.
El sitio web es de un cliente y es una simple pagina informativa sobre que hace su negocio, donde contactarte, etc, nada especial la verdad. Pero me encuentro que los bots de semrush y bing estan acaparando todo el ancho de banda de mi sitio con sus visitas, en particular semrush, ¿porqué?.
Ya me había pasado esto con otro sitio donde bingbot no dejaba de pasar en todo momento e igualmente, el consumo de ancho de banda no dejaba de subir, hasta que cambie el tiempo de acceso en el archivo robots.txt y disminuyó considerablemente, usé esto:
User-agent: msnbot
Crawl-delay: 300
User-agent: msnbot-media
Crawl delay: 300
User-agent: bingbot
Crawl delay: 300
Agradezco que estos bots pasen por mis sitios, pero su consumo me parece exagerado, ejemplo este es el consumo de ancho de banda en el sitio donde hice el cambio:
Como pueden notar, cada mes el consumo no paraba de subir hasta que apliqué esa política en el archivo robots.txt y ya se ve un gran cambio. ¿Alguna recomendación que me puedan dar para evitar estos incidentes?, gracias de antemano.
