Problemas con bots consumiendo ancho banda mensual, ayuda por favor

  • Autor Autor bugrin
  • Fecha de inicio Fecha de inicio
B

bugrin

Beta
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
Gente como va
Estoy teniendo problemas con mi sito hace rato.
Resulta que ahora, según me dijeron del servidor ya que yo no sabía por que pasaba, hay bots que están ingresando a mi sitio desde todas partes y me consumen toda Transferencia de banda ancha mensual. Y eso que tenemos 20 gigas en el sitio. Cómo puedo solucionar esto por favor??

Desde ya muchas gracias!
 
Puedes bloquearlos todos con el robots.txt. Pero esto podría afectar al SEO ya que también estarías bloqueando a los robots de google, bing etc.

Yo lo que haría es hacer una lista blanca de los robots que quieres dejar entrar (google, bing, yahoo etc.) y bloquear todo el resto. Por ejemplo:
Insertar CODE, HTML o PHP: 
User-agent: Googlebot
User-agent: bingboot
User-agent: Mediapartners-Google*
User-agent: Googlebot-Image
User-agent: yahoo
User-agent: ia_archiver
Disallow:
User-agent: *
Disallow: /

Puedes eliminar los que creas oportunos y añadir los que consideres buscando el nombre en google.

Si no, otra opción que tienes es probar CloudFlare como te dice Kevinex
 
Última edición:
creo que 30GB de transferencia es muy poco!
 
Gente gracias por las respuestas!
Aclaro, la web es de un cliente mio. Yo soy el Diseñador Gráfico, pero resulto que ahora también el que soluciona todo esto (que obviamente cobraré) entonces estoy aprendiendo sobre la marcha.

No se lo que es CloudFlare, un plugin de wp??
Otra cosa que estoy notando es que en el FTP no existe el archivo robots.txt. Simplemente creo un txt con ese nombre y pongo lo que mencionaban arriba?? lo tiro en la carpeta public_html?
Gracias!
 
bugrin dijo:
Gente gracias por las respuestas!
Aclaro, la web es de un cliente mio. Yo soy el Diseñador Gráfico, pero resulto que ahora también el que soluciona todo esto (que obviamente cobraré) entonces estoy aprendiendo sobre la marcha.

No se lo que es CloudFlare, un plugin de wp??
Otra cosa que estoy notando es que en el FTP no existe el archivo robots.txt. Simplemente creo un txt con ese nombre y pongo lo que mencionaban arriba?? lo tiro en la carpeta public_html?
Gracias!
Hacer clic para expandir...
No, cloudflare es un sistema de protección que se instala mediante DNS, hay muchos tutoriales sobre como configurarlo.

Si, simplemente crea un archivo con el nombre robots.txt en la raíz de la web y le pegas el código.
 
bugrin dijo:
No se lo que es CloudFlare, un plugin de wp??
!
Hacer clic para expandir...

CloudFlare es un sistema de protección en la nube pero también dispone de un sistema de caché CDN, de forma que no enviarás algunos archivos desde tu servidor sino que se enviarán copias (cuando estén disponibles).

¿No estás usando algún plugin de caché?

Algunos permiten que el usuario navegue por algunos archivos locales (cache local o optimización cache para el browser o nombres así tienen) en lugar de volver a bajar los archivos.

Yo no me complicaría con robots.txt, no existe porque WordPress genera un archivo "virtual" y no físico por eso no puedes verlo.

Yo también tengo un consumo muy alto y lo que hago es repartir mis archivos en varios servicios de alojamiento gratuitos.

Las imágenes las puedes guardar en en algún sitio como Flickr o Imgur e insertarlas desde allá, que son lo que más suelen consumir.

¿Has revisado que estén comprimidas?
 
Bien, entonces investigaré sobre CludFlare.
Igualmente, teniendo eso, conviene que tenga el archuvo robots.txt? digo, no restará, siempre suma no?

ramonjosegn dijo:
¿No estás usando algún plugin de caché?
Hacer clic para expandir...

No ninguno, debería? alguno para recomendar?
Todo esto me sirve ya que ultimamente tengo bastante trabajo sacando webs en wordpress
 
bugrin dijo:
No ninguno, debería? alguno para recomendar?
Todo esto me sirve ya que ultimamente tengo bastante trabajo sacando webs en wordpress
Hacer clic para expandir...

De pago hablan bien de WP Rocket

También te recomiendo usar algún sistema de protección, uno de los más populares es WORDFENCE (también tiene sistema de caché si quieres activarlo pero no me gusta mucho porque tiene muy pocas opciones y a veces genera conflictos), pero Wordfence te puede ayudar a bloquear bots no deseados.

Si el problema es con imágenes debes comprimirlas y una opción para enviarlas con formato comprimido es CACHE ENABLED pero para ello toca revisar un tutorial (no he visto ninguno en la web).

WP Fastest Cache
es uno de los que está cogiendo más fama, de hecho era gratis pero al final le añadieron opciones PRO. Permite hacer caché en navegador y mucho más
screenshot-5.jpg


Yo trataría con
WORDFENCE - para bloquear bots y proteger la web y
WP Fastest Cache- activando la caché y la opción de GZIP (a veces rompe algunos themes) y BROWSING CACHING (eso cacheará elementos en local en el navegador del visitante).
 
ramonjosegn dijo:
De pago hablan bien de WP Rocket

También te recomiendo usar algún sistema de protección, uno de los más populares es WORDFENCE (también tiene sistema de caché si quieres activarlo pero no me gusta mucho porque tiene muy pocas opciones y a veces genera conflictos), pero Wordfence te puede ayudar a bloquear bots no deseados.

Si el problema es con imágenes debes comprimirlas y una opción para enviarlas con formato comprimido es CACHE ENABLED pero para ello toca revisar un tutorial (no he visto ninguno en la web).

WP Fastest Cache
es uno de los que está cogiendo más fama, de hecho era gratis pero al final le añadieron opciones PRO. Permite hacer caché en navegador y mucho más
screenshot-5.jpg


Yo trataría con
WORDFENCE - para bloquear bots y proteger la web y
WP Fastest Cache- activando la caché y la opción de GZIP (a veces rompe algunos themes) y BROWSING CACHING (eso cacheará elementos en local en el navegador del visitante).
Hacer clic para expandir...

Bueno, le mande Wordefence y fastest cache.
El 2do lo configuré como la imagen que me pasaste. Todo ok supongo.

el tema pasa por wordefence. voy a live traffic, y pasa esto:
Captura de pantalla 2016-10-25 a las 16.28.26.webp

Los que dicen bloqueado, obviamente fui yo, pero siguen entrando, que onda eso se puede bloquear del todo o lo que hice ya esta ok?
Por otro lado, constantemente entran otros que bloqueo pero son distintos, que debería hacer con ellos?
Y veo que ingresan a una url que no existe en el sitio, que pasa con eso?

Estoy mareado de tanta cosa que me pasaron jaja.
Debería también agregar el robots.txt e instalar el cludflare?
 
bugrin dijo:
Bueno, le mande Wordefence y fastest cache.
El 2do lo configuré como la imagen que me pasaste. Todo ok supongo.

el tema pasa por wordefence. voy a live traffic, y pasa esto:
Ver el archivo adjunto 87621

Los que dicen bloqueado, obviamente fui yo, pero siguen entrando, que onda eso se puede bloquear del todo o lo que hice ya esta ok?
Por otro lado, constantemente entran otros que bloqueo pero son distintos, que debería hacer con ellos?
Y veo que ingresan a una url que no existe en el sitio, que pasa con eso?

Estoy mareado de tanta cosa que me pasaron jaja.
Debería también agregar el robots.txt e instalar el cludflare?
Hacer clic para expandir...

Wordfence poco a poco irá bloqueando los que considere inoportunos (o eso debería). Si ves que no puedes frenarlo hay una opción en el cortafuegos que puedes subirle el nivel de seguridad a "alta" o incluso "estoy bajo un ataque".

Yo no tocaría el robots.txt (para eso ya instalaste Wordfence).

La configuración de WP Fastest Cache depende tus necesidades, la que te compartí es la que tiene el autor en wordpress para dar un ejemplo de cómo funciona.

Toca ver que no se te dañe nada en el theme si activas cosas como combinar js y minificar html/js. Además yo desmarcaría "mobile" para que se usé caché en móviles también.

Puedes instalar cloudflare y configurar el dominio para que lo use, es algo complejo pero ya Cloudflare haría todo el trabajo (caché y protección) por lo que ya no necesitarías tener ninguno de esos 2 plugins que te recomendé.
 
ramonjosegn dijo:
Wordfence poco a poco irá bloqueando los que considere inoportunos (o eso debería). Si ves que no puedes frenarlo hay una opción en el cortafuegos que puedes subirle el nivel de seguridad a "alta" o incluso "estoy bajo un ataque".

Yo no tocaría el robots.txt (para eso ya instalaste Wordfence).

La configuración de WP Fastest Cache depende tus necesidades, la que te compartí es la que tiene el autor en wordpress para dar un ejemplo de cómo funciona.

Toca ver que no se te dañe nada en el theme si activas cosas como combinar js y minificar html/js. Además yo desmarcaría "mobile" para que se usé caché en móviles también.

Puedes instalar cloudflare y configurar el dominio para que lo use, es algo complejo pero ya Cloudflare haría todo el trabajo (caché y protección) por lo que ya no necesitarías tener ninguno de esos 2 plugins que te recomendé.
Hacer clic para expandir...

Excelente entonces, muchas gracias por todo. Veremos como sigue de acá en adelante este tema! Sigo con los plugs que me recomendaste entonces.
Gracias a los demás también!
Pero no duden que volveré con muchas dudas jaja
saludos.
 
Última edición:
Hay que estar conectado o registrado para responder aquí.

Temas similares

C
Problemas con Spider y Robots consumiendo ancho de banda
Respuestas
12
Visitas
2K
Federico Piccoli
F
Atrás
Arriba