Problemas con Spider y Robots consumiendo ancho de banda

carmaruiz · 3 Ene 2014

Tengo un blog con wordpress en REDCORUNA con 5GB de Transferencia al mes, el caso es que los spider, se me comen ese ancho de banda y Redcoruna me bloquea el blog hasta el mes siguiente y volver a empezar. Llame y aunque no me marca casi visitas google analytics me dicen que mire las estadisticas del hosting y que vea que los robots son los que más entran. Ya no se ni que pensar.

Que debo configurar para que esto no ocurra?

El blog es este http://3trilogia.com/ es de cine, ya de paso me decís que os parece y mejoras que le haríais, gracias.

Mrsite · 3 Ene 2014

cambia de servidor , 5 Gb de transferencia ? es una porqueria hay servidores que dan transferencia ilimitada un saludo :encouragement:

ramonjosegn · 3 Ene 2014

A mí me pasó eso el año pasado, tienes que usar un robots.txt que haga que entren más despacio o incluso si quieres puedes bloquear algunos o ponerles tiempos de pasada, hay información sobre ello online, mira por robots delay, también puedes usar WordPress ? All In One WP Security & Firewall « WordPress Plugins, que funciona bastante y bloquea muchos bots perjudiciales que tratan de acceder hasta al administrador (y no son pocos)

carmaruiz · 3 Ene 2014

Gracias probaré el plugin que me recomiendas y me informaré mejor. Un saludo.

Federico Piccoli · 4 Ene 2014

Ciao

ramonjosegn dijo:
...tienes que usar un robots.txt que haga que entren más despacio o incluso si quieres puedes bloquear algunos o ponerles tiempos de pasada...

Dudo que un archivo de texto, por tanto no ejecutable, pueda dar ordenes a nadie, el robots.txt da indicaciones a los robots que tienen orden de seguirlas categoria dentro de la cual no entran los robots spammers, los robots buscadores de direcciones email, ni robots lanzados a fines de hackeo.

ramonjosegn · 4 Ene 2014

Federico Piccoli dijo:
Ciao

Dudo que un archivo de texto, por tanto no ejecutable, pueda dar ordenes a nadie, el robots.txt da indicaciones a los robots que tienen orden de seguirlas categoria dentro de la cual no entran los robots spammers, los robots buscadores de direcciones email, ni robots lanzados a fines de hackeo.

Por eso le estaba recomendando un plugin de protección, en mi caso eran buscadores legales que entraban todos al mismo tiempo (o eso dedujimos) y tiraban el sitio por demasiada peticiones a la base de datos

pandroso · 4 Ene 2014

cambia de hosting!

las visitas de los robots y spiders son necesrios para tu sitio

Robert F · 4 Ene 2014

cambia de hosting, urgente

nthego:

ramonjosegn · 4 Ene 2014

Robert F dijo:
cambia de hosting, urgente nthego:

Es evidente que tiene que ver mucho con los recursos del hosting

Federico Piccoli · 4 Ene 2014

Ciao

ramonjosegn dijo:
Por eso le estaba recomendando un plugin de protección, en mi caso eran buscadores legales que entraban todos al mismo tiempo (o eso dedujimos) y tiraban el sitio por demasiada peticiones a la base de datos

Los spiders no se comen el ancho de banda suyo ni el de nadie, esto és una excusa que le han soltado los del servidor, ademas no creo que añadir más plugins a un sitio con problemas de carga ayude, mas bien lo contrario.

Lo que tendria que hacer es aligerar el sitio que pesa una burrada (1.812.308 bytes) y arreglar los 33 errores de html que tiene

ramonjosegn · 4 Ene 2014

Federico Piccoli dijo:
Ciao
Los spiders no se comen el ancho de banda suyo ni el de nadie, esto és una excusa que le han soltado los del servidor, ademas no creo que añadir más plugins a un sitio con problemas de carga ayude, mas bien lo contrario.

Lo que tendria que hacer es aligerar el sitio que pesa una burrada (1.812.308 bytes) y arreglar los 33 errores de html que tiene

Mmm... o sea que los spiders no consumen ancho de banda pero las visitas sí... pues no sé qué decirte, por esa regla de tres, tampoco deben contar como visitas, tampoco deben consumir base de datos... no sé, voy a revisar eso online, a ver qué dicen, porque no me convencen mucho lo que comentas... ¿será que esos bots tampoco dejan comentarios en los blogs....?

El hosting le habrá dicho eso, pero es posible que se hayan referido al consumo de varios servicios, pueden ser de cualquier tipo, como es lógico si no quieren perder un cliente debieron darle alguna solución y más datos técnicos al respecto

Peisithanatos · 4 Ene 2014

Es raro lo que comentas como bien apuntan los compañeros. No obstante, puedes probar a bloquear los robots de buscadores no principales (véase Google, Bing y Yahoo) para ver si efectivamente se reduce el consumo. Los robots crawleadores de propósito "fraudulento" no dejarán de visitarte por ese motivo pero te ahorrarás las visitas de unas cuantas decenas de ellos.

Federico Piccoli · 4 Ene 2014

Ciao

ramonjosegn dijo:
Mmm... o sea que los spiders no consumen ancho de banda pero las visitas sí....

He dicho se comen, claro que consumen, pero mucho menos que una visita normal porque estan mucho menos tiempo en el sitio que ésta y no creo que por uno o dos visitas de robots semanales se acabe el ancho de banda, por lo menos a los demas no se nos acaba.

Supongo que cuando revises la informacion vendras y nos explicaras el resultado, puede surgir un debate instructivo