Tutorial: Como bloquear desde htaccess, las visitas SPAM BOTS que consumen recursos de tu web

[dacuzucotti]

Cómo eliminar el referrer spam de los sitios rusos darodar.com, ilovevitaly.com, econom.co y similares. Hace unos cuantos meses ya que esto nos da unos cuantos problemas.

Tengo un código para bloquear desde el archivo htaccess estas visitas, para que no tengan acceso a tu web.
Va una línea por dominio.

Esto es lo primero que pongo en mi .htaccess

################
# SPAM bloqueo
################
SetEnvIfNoCase Referer darodar.com spam=yes
SetEnvIfNoCase Referer forum.topic57291920.darodar.com spam=yes
SetEnvIfNoCase Referer ILoveVitaly.com spam=yes
SetEnvIfNoCase Referer blackhatworth.com spam=yes
SetEnvIfNoCase Referer hulfingtonpost.com spam=yes
SetEnvIfNoCase Referer priceg.com spam=yes
SetEnvIfNoCase Referer ILoveVitaly.ru spam=yes
SetEnvIfNoCase Referer ILoveVitaly.org spam=yes
SetEnvIfNoCase Referer ILoveVitaly.co spam=yes
SetEnvIfNoCase Referer ILoveVitaly.info spam=yes
SetEnvIfNoCase Referer ILoveVitaly.net spam=yes
SetEnvIfNoCase Referer ILoveItaly.ru spam=yes
SetEnvIfNoCase Referer shopping.ilovevitaly.ru spam=yes
SetEnvIfNoCase Referer maps.ilovevitaly.ru spam=yes
SetEnvIfNoCase Referer iedit.ilovevitaly.ru spam=yes
SetEnvIfNoCase Referer shopping.ilovevitaly.com spam=yes
SetEnvIfNoCase Referer maps.ilovevitaly.com spam=yes
SetEnvIfNoCase Referer iedit.ilovevitaly.com spam=yes
SetEnvIfNoCase Referer 230-60-110-78.net.hts.ru spam=yes
SetEnvIfNoCase Referer net.hts.ru spam=yes
SetEnvIfNoCase Referer 78.110.60.230 spam=yes
SetEnvIfNoCase Referer backgroundpictures.net spam=yes
SetEnvIfNoCase Referer embedle.com spam=yes
SetEnvIfNoCase Referer extener.com spam=yes
SetEnvIfNoCase Referer fbfreegifts.com spam=yes
SetEnvIfNoCase Referer feedouble.com spam=yes
SetEnvIfNoCase Referer feedouble.net spam=yes
SetEnvIfNoCase Referer joinandplay.me spam=yes
SetEnvIfNoCase Referer joingames.org spam=yes
SetEnvIfNoCase Referer kambasoft.com spam=yes
SetEnvIfNoCase Referer musicprojectfoundation.com spam=yes
SetEnvIfNoCase Referer myprintscreen.com spam=yes
SetEnvIfNoCase Referer openfrost.com spam=yes
SetEnvIfNoCase Referer openmediasoft.com spam=yes
SetEnvIfNoCase Referer savetubevideo.com spam=yes
SetEnvIfNoCase Referer semalt.com spam=yes
SetEnvIfNoCase Referer softomix.com spam=yes
SetEnvIfNoCase Referer softomix.net spam=yes
SetEnvIfNoCase Referer softomix.ru spam=yes
SetEnvIfNoCase Referer soundfrost.org spam=yes
SetEnvIfNoCase Referer srecorder.com spam=yes
SetEnvIfNoCase Referer vapmedia.org spam=yes
SetEnvIfNoCase Referer videofrost.com spam=yes
SetEnvIfNoCase Referer videofrost.net spam=yes
SetEnvIfNoCase Referer youtubedownload.org spam=yes
SetEnvIfNoCase Referer zazagames.org spam=yes
SetEnvIfNoCase Referer buttons-for-website.com spam=yes
SetEnvIfNoCase Referer darodar.com spam=yes
SetEnvIfNoCase Referer start.facemoods.com spam=yes
SetEnvIfNoCase Referer 7makemoneyonline.com spam=yes
SetEnvIfNoCase Referer posti.yrityskotisivut.fi spam=yes
SetEnvIfNoCase Referer blackhatworth.com spam=yes
SetEnvIfNoCase Referer bestwebsitesawards.com spam=yes
SetEnvIfNoCase Referer hulfingtonpost.com spam=yes
SetEnvIfNoCase Referer cenoval.ru spam=yes
SetEnvIfNoCase Referer spyonweb.com spam=yes
SetEnvIfNoCase Referer www1.social-buttons.com spam=yes
SetEnvIfNoCase Referer buttons-for-your-website.com spam=yes
SetEnvIfNoCase Referer editors.choice7692667.hulfingtonpost.com spam=yes
SetEnvIfNoCase Referer enter [blackhatworth.com] spam=yes
SetEnvIfNoCase Referer enter [hulfingtonpost.com] spam=yes
SetEnvIfNoCase Referer enter [darodar.com] spam=yes
SetEnvIfNoCase Referer enter [priceg.com] spam=yes
SetEnvIfNoCase Referer enter [blackhatworth.com] spam=yes

Order allow,deny
Allow from all
Deny from env=spam

Por otro lado he leído un artículo que apunta al hecho de que las visitas sólo atacan al archivo de .js de Analytics, y aquí explican un poco como neutralizarlo.
http://www.jarfer.com/como-eliminar-el-referrer-spam/


Bueno, animo a comentarios, experiencias y recomendaciones 🙂

 

[jjames]

Muy interesante eso eso, espero que no consuma mas recursos tener ese codigo. Gracias!

 

[CLF]

Hoal Dacu, en principio se puede hacer desde el Admin de Analytics, no? En exclusión de refererers creo. Has probado?

 

[Brandon Díaz]

Hoal Dacu, en principio se puede hacer desde el Admin de Analytics, no? En exclusión de refererers creo. Has probado?

Eso hace que solo no se cuenten las visitas, pero no se les bloquea el acceso y siguen consumiendo tus recursos.

Lo mejor es hacer ambas cosas, bloquearles el acceso desde el .htaccess y desde Analytics excluir esos referrals.
[MENTION=113117]dacuzucotti[/MENTION] Has visto como implementarlo con expresiones regulares??

Por ejemplo, me han llegado visitas de estos tres:

buttons-for-website
buttons-for-your-website
social-buttons

Algo para bloquear cualquier referral que tenga -buttons, o -buttons- o buttons-... estaría de lujo 😎

 

[dacuzucotti]

Hoal Dacu, en principio se puede hacer desde el Admin de Analytics, no? En exclusión de refererers creo. Has probado?

mmmm.. es diferente, el código que he puesto es para bloquear los accesos a tu web. Lo de Analytics es sólo para estadísticas.

- - - Actualizado - - -

Eso hace que solo no se cuenten las visitas, pero no se les bloquea el acceso y siguen consumiendo tus recursos.

Lo mejor es hacer ambas cosas, bloquearles el acceso desde el .htaccess y desde Analytics excluir esos referrals.
[MENTION=113117]dacuzucotti[/MENTION] Has visto como implementarlo con expresiones regulares??

Por ejemplo, me han llegado visitas de estos tres:

buttons-for-website
buttons-for-your-website
social-buttons

Algo para bloquear cualquier referral que tenga -buttons, o -buttons- o buttons-... estaría de lujo 😎

Correcto [MENTION=17944]Brandon Díaz[/MENTION] , es como tú dices.
No he mirado aún como hacer para implementarlo con expresiones regulares... lo tengo pendiente

 

[Jarfer]

Hola, llevo sufriendo este problema de las visitas spam desde diciembre y he publicado 3 entradas en mi blog en las que detallo cómo he conseguido solucionarlo. Al menos en mi caso, el único problema de este tráfico spam es que desvirtúa totalmente las estadísticas de Google Analytics.

Inicialmente lo solucioné con filtros en Analytics que excluyeran el tráfico de los dominios origen del spam. El problema es que cada día surgen nuevos dominios origen de este tipo de spam, y no todos desde Rusia, por lo que excluir el tráfico que llega desde Rusia tampoco es la solución. A los sitios spam rusos como darodar o ilovetitaly se han unido últimamente otros como social-buttons.com (y todas sus variantes), www Get-Free-Traffic-Now o buy-cheap-online info que provienen de distintos países.

Como ya estaba harto de tener que estar pendiente de los nuevos sitios spam, que últimamente aparecen como setas, y de tener que estar continuamente actualizando el filtro de Analytics para añadir cada nuevo sitio spam que aparece, le di una vuelta y finalmente lo he resuelto mediante un nuevo filtro en Analytics que únicamente incluye el tráfico que en Analytics tiene el campo nombre del host igual a la URL de mi blog, ya que al menos en mi caso, y hasta el momento, he podido comprobar que todo el tráfico falso que se inyecta en Analytics desde los dominios spam tiene en el campo nombre de host valores muy variados, pero en ningún caso coincide con la URL de mi blog. Esto lo podéis comprobar para vuestro sitio en Analytics en Informes, Audiencia, Tecnología, Red. En esta opción se muestran las visitas agrupadas por Proveedor de servicios. Tenéis que seleccionar como Dimensión primaria Nombre de host. De esta forma podréis comprobar que las visitas spam tienen un nombre de host que no coinciden con la URL de vuestro sitio. En cambio las visitas válidas, las de verdad, tienen en el campo nombre de host la URL de vuestro sitio.

Os dejo un enlace a la entrada de mi blog por si queréis más detalles de cómo solucionarlo de forma definitiva, es decir, sin tener que estar actualizando continuamente el filtro de Analytics para añadir los nuevos sitios spam. Este es el enlace: Solución definitiva para evitar el tráfico spam en Analytics

Saludos,

Jarfer

 

[dacuzucotti]

Muy interesante, gracias por el aporte.

 

[planetsupernova]

Muchas gracias, que pesados estos bots.

 

[masteryi]

Hola gente, tengo ese problema desde hace mucho tiempo y he leído en muchos sitios como resolverlo y aún no he podido.

[MENTION=113117]dacuzucotti[/MENTION] Se agradece tu aporte, sin embargo ese código que compartes lo probé y aún continua registrándose el tráfico spam en Analytics, y para estar seguro si funciona o no ese código que compartes, le agregué un sitio mio en esa lista y envié visitas desde el sitio bloqueado al sitio que tiene ese código en el htaccess y la visitas entran y se registran en analytics como referrers y no deberían entrar porque se supone que estoy bloqueando los referrers de dese dominio. Osea no funciona.

Otra duda que tengo es que explicas que las visitas sólo atacan al archivo de .js de Analytics. ¿Como yo compruebo que realmente eso es así?. Es probable que sea cierto que ataquen directamente al código Analytics, pero lo mejor es estar seguro.

Lo mejor es hacer ambas cosas, bloquearles el acceso desde el .htaccess y desde Analytics excluir esos referrals.

Brandon. Tengo estas dudas:

¿Que sentido tiene excluir esos referrals en Analytics si se supone que no tendrán acceso al sitio al bloquearlos en el htaccess?
¿Como los bloqueo en htaccess? (He visto muchos artículos sobre bloquear referrers en htaccess y ninguno me ha funcionano)

- - - Actualizado - - -

Hola, llevo sufriendo este problema de las visitas spam desde diciembre y he publicado 3 entradas en mi blog en las que detallo cómo he conseguido solucionarlo. Al menos en mi caso, el único problema de este tráfico spam es que desvirtúa totalmente las estadísticas de Google Analytics.

Inicialmente lo solucioné con filtros en Analytics que excluyeran el tráfico de los dominios origen del spam. El problema es que cada día surgen nuevos dominios origen de este tipo de spam, y no todos desde Rusia, por lo que excluir el tráfico que llega desde Rusia tampoco es la solución. A los sitios spam rusos como darodar o ilovetitaly se han unido últimamente otros como social-buttons.com (y todas sus variantes), www Get-Free-Traffic-Now o buy-cheap-online info que provienen de distintos países.

Como ya estaba harto de tener que estar pendiente de los nuevos sitios spam, que últimamente aparecen como setas, y de tener que estar continuamente actualizando el filtro de Analytics para añadir cada nuevo sitio spam que aparece, le di una vuelta y finalmente lo he resuelto mediante un nuevo filtro en Analytics que únicamente incluye el tráfico que en Analytics tiene el campo nombre del host igual a la URL de mi blog, ya que al menos en mi caso, y hasta el momento, he podido comprobar que todo el tráfico falso que se inyecta en Analytics desde los dominios spam tiene en el campo nombre de host valores muy variados, pero en ningún caso coincide con la URL de mi blog. Esto lo podéis comprobar para vuestro sitio en Analytics en Informes, Audiencia, Tecnología, Red. En esta opción se muestran las visitas agrupadas por Proveedor de servicios. Tenéis que seleccionar como Dimensión primaria Nombre de host. De esta forma podréis comprobar que las visitas spam tienen un nombre de host que no coinciden con la URL de vuestro sitio. En cambio las visitas válidas, las de verdad, tienen en el campo nombre de host la URL de vuestro sitio.

Os dejo un enlace a la entrada de mi blog por si queréis más detalles de cómo solucionarlo de forma definitiva, es decir, sin tener que estar actualizando continuamente el filtro de Analytics para añadir los nuevos sitios spam. Este es el enlace: Solución definitiva para evitar el tráfico spam en Analytics

Saludos,

Jarfer

Muy bueno lo que explicas, sin embargo los unicos referrers spam que me aparecen ahí son 4webmasters.org y darodar.com, y son mas de 20 que tengo en ese sitio.

 

[dacuzucotti]

Yo he podido comprobar que el tráfico Spam refral no llega realmente al sitio, lo digo por que tengo una s webs sin el código de seguimiento de Analytics, y aun así siguen llegando. Esto quiere decir que atacan al js de Analytics directamente al servidor de Google y con UA (ID de seguimiento) aleatorios o secuenciales.

Creo que la solución es la que se menciona más arriba, la de incluir sólo: "filtro en Analytics que únicamente incluye el tráfico que en Analytics tiene el campo nombre del host igual a la URL de mi blog"

Ojo cuidado: con este método excluimos también a los del host (translate.googleusercontent.com) que navegan traduciendo la web con Chrome. Incluirlo también pues! que esos no son de los malos.. 🙂

espero que te sirva [MENTION=44149]masteryi[/MENTION]

 

[Brandon Díaz]

Hola gente, tengo ese problema desde hace mucho tiempo y he leído en muchos sitios como resolverlo y aún no he podido.

dacuzucotti Se agradece tu aporte, sin embargo ese código que compartes lo probé y aún continua registrándose el tráfico spam en Analytics, y para estar seguro si funciona o no ese código que compartes, le agregué un sitio mio en esa lista y envié visitas desde el sitio bloqueado al sitio que tiene ese código en el htaccess y la visitas entran y se registran en analytics como referrers y no deberían entrar porque se supone que estoy bloqueando los referrers de dese dominio. Osea no funciona.

Otra duda que tengo es que explicas que las visitas sólo atacan al archivo de .js de Analytics. ¿Como yo compruebo que realmente eso es así?. Es probable que sea cierto que ataquen directamente al código Analytics, pero lo mejor es estar seguro.




Brandon. Tengo estas dudas:

¿Que sentido tiene excluir esos referrals en Analytics si se supone que no tendrán acceso al sitio al bloquearlos en el htaccess?
¿Como los bloqueo en htaccess? (He visto muchos artículos sobre bloquear referrers en htaccess y ninguno me ha funcionano)

- - - Actualizado - - -



Muy bueno lo que explicas, sin embargo los unicos referrers spam que me aparecen ahí son 4webmasters.org y darodar.com, y son mas de 20 que tengo en ese sitio.

Revisa: SEO y el .htaccess: 20+ códigos listos para copiar y pegar

Y... no tiene sentido. Prefiero bloquearlos del htaccess y no desde Analytics. Por si algun código del htaccess no funciona, poder ver en analytics cuales siguen entrando.

 

[Rafa M.]

Buenas,

Hay dos tipos de referral spam:
1.- los crawlers que visitan realmente el servidor donde esta alojada la web y por eso aparecen registrados en analytics. Para estos recomiendo un filtro que excluya las pincipales referencias.
2.- el ghost spam (mucho más numeroso) que ni si quiera son visitas reales. Aprovechan el protocolo de medición de Google para colarse en los informes usando el identificador de propiedad (UA-XXXXXXXX-1).

Estoy creando una lista con los referrals spam más activos organizados por su tipología.

Para las visitas fantasma no sirve ni los filtros a nivel de servidor (htaccess.) ni la lista de exclusión de referencias ya que más del 70% aprox. de las sesiones fantasma aparecen cómo tráfico directo.

Como ha comentado jarfer un método eficaz de frenar las visitas fantasma es implementar un filtro de inclusión basado en los hostnames válidos del sitio, ya que la inmensa mayoría del spam fantasma no define el nombre de host (not set) o utiliza uno falso.

Digo la inmensa mayoría porque ya se han detectado sesiones fantasma capaces de utilizar el dominio del web como nombre de host. Por eso ya se está utilizando un método que dicen que es el más eficaz.

Consiste en crear una dimensión personalizada en el código de analytics, que se asigne a las cookies de aquellos usuarios que realmente visitan el sitio. Y para después crear un filtro a nivel de vista que incluya sólo las sesiones con dicho parámetro.

LLevo un par de semanas probando ambas soluciones en dos de los sotios que gestiono y todavía no he apreciado diferencias entre el filtro de hostnames válidos y la dimensión personalizada.

Ya os contaré.

Un abrazo

 

[Pompinchu]

Me había emocionado por mi primera visita ni bien publiqué mi web JAJAJAJAJA :sorrow: