Como ajustar o arquivo robots.txt para reduzir a carga do servidor

henrym · 31/07/2024

Recientemente, mi servidor se ve sobrecargado (mucho uso de CPU) y según el hosting es por algunos bots. Aquí una imagen:

No utilizo ni Ahrefsbot, ni Semrush. Tambien quisiera bloquear MJI, Yandex y otros bot que vi. Seria algo asi?

Inserir CODE, HTML ou PHP:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Block AhrefsBot
User-agent: AhrefsBot
Disallow: /

# Block MJI12bot
User-agent: MJI12bot
Disallow: /

# Block YandexBot
User-agent: YandexBot
Disallow: /

# Block Barkrowler
User-agent: Barkrowler
Disallow: /

Sitemap: MI SITE MAP

Es correcto?

YeltsinReyes · 31/07/2024

henrym disse:
Recientemente, mi servidor se ve sobrecargado (mucho uso de CPU) y según el hosting es por algunos bots. Aquí una imagen:

Ver o anexo 1309659

No utilizo ni Ahrefsbot, ni Semrush. Tambien quisiera bloquear MJI, Yandex y otros bot que vi. Seria algo asi?

Inserir CODE, HTML ou PHP:

User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php # Block AhrefsBot User-agent: AhrefsBot Disallow: / # Block MJI12bot User-agent: MJI12bot Disallow: / # Block YandexBot User-agent: YandexBot Disallow: / # Block Barkrowler User-agent: Barkrowler Disallow: / Sitemap: MI SITE MAP

Es correcto?

Creo que esta bien.

jkrty · 31/07/2024

Si usas wordpress, Puedes bloquear con algunos aplicativo, o también del lado del hosting, o Si usas cloudflare, puedes bloquear muchos de esto,

@BotBeta
Haz tu trabajo ocioso, y indicale como bloquear en estas 3 forma que mencione en este comentario.

henrym · 31/07/2024

Ya bloqueé varios menos este:

User-agent: Proximic
Crawl-delay: 60

Me dijeron que se utiliza para la publicidad.

Como ajustar o arquivo robots.txt para reduzir a carga do servidor

henrym

YeltsinReyes

jkrty

henrym

Tópicos similares