Cómo ajustar el archivo robots.txt para reducir la carga del servidor

  • Autor Autor henrym
  • Fecha de inicio Fecha de inicio
H

henrym

Dseda
Verificación en dos pasos activada
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
Recientemente, mi servidor se ve sobrecargado (mucho uso de CPU) y según el hosting es por algunos bots. Aquí una imagen:

fff.webp


No utilizo ni Ahrefsbot, ni Semrush. Tambien quisiera bloquear MJI, Yandex y otros bot que vi. Seria algo asi?

Insertar CODE, HTML o PHP:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Block AhrefsBot
User-agent: AhrefsBot
Disallow: /

# Block MJI12bot
User-agent: MJI12bot
Disallow: /

# Block YandexBot
User-agent: YandexBot
Disallow: /

# Block Barkrowler
User-agent: Barkrowler
Disallow: /

Sitemap: MI SITE MAP

Es correcto?
 
Recientemente, mi servidor se ve sobrecargado (mucho uso de CPU) y según el hosting es por algunos bots. Aquí una imagen:

Ver el archivo adjunto 1309659

No utilizo ni Ahrefsbot, ni Semrush. Tambien quisiera bloquear MJI, Yandex y otros bot que vi. Seria algo asi?

Insertar CODE, HTML o PHP:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Block AhrefsBot
User-agent: AhrefsBot
Disallow: /

# Block MJI12bot
User-agent: MJI12bot
Disallow: /

# Block YandexBot
User-agent: YandexBot
Disallow: /

# Block Barkrowler
User-agent: Barkrowler
Disallow: /

Sitemap: MI SITE MAP

Es correcto?
Creo que esta bien.
 
Si usas wordpress, Puedes bloquear con algunos aplicativo, o también del lado del hosting, o Si usas cloudflare, puedes bloquear muchos de esto,

@BotBeta
Haz tu trabajo ocioso, y indicale como bloquear en estas 3 forma que mencione en este comentario.
 
Ya bloqueé varios menos este:

User-agent: Proximic
Crawl-delay: 60

Me dijeron que se utiliza para la publicidad.
 
Atrás
Arriba