Como hacen las webs clonadas o espejo ??

ryotfe · 27 Oct 2020

Existe algún para eso o cómo lo hacen?

algoepico · 27 Oct 2020

Quizá tengas un propósito bueno, pero en principio no parece muy ético. De hecho, es una de las lacras del SEO (aunque hay maneras de evitar que te la clonen e, incluso, de dejarle un regalito antes de bloquearle).

Sam40 · 27 Oct 2020

algoepico dijo:
Quizá tengas un propósito bueno, pero en principio no parece muy ético. De hecho, es una de las lacras del SEO (aunque hay maneras de evitar que te la clonen e, incluso, de dejarle un regalito antes de bloquearle).

Puedes dar más información sobre cómo proteger una web para que no te la copien o para que los robots de herramientas como hrefs no puedan espiarte?

Gracias

Lena32 · 27 Oct 2020

Hay herramientas para ello.
En principio la idea de clonar web surgió para poder navegar en ellas en local, una vez pasado determinadas herramientas.

Incluso las hay en las que puedes configurar la profundidad de enlaces que quieres copiar.

Ello, subido de nuevo con cualquier FTP a una url, te da una web identificativa a la original.

También se puede modificar contenidos y estilos sobre la plagiada

Lena32 · 27 Oct 2020

algoepico dijo:
Quizá tengas un propósito bueno, pero en principio no parece muy ético. De hecho, es una de las lacras del SEO (aunque hay maneras de evitar que te la clonen e, incluso, de dejarle un regalito antes de bloquearle).

Créeme....por cada regalo que dejes, hay herramientas que lo inutilizaran

algoepico · 27 Oct 2020

Lena32 dijo:
Créeme....por cada regalo que dejes, hay herramientas que lo inutilizaran

Lo sé, pero ese regalo puede ser suficiente con que se la cueles una sola vez para hacer su misión jeje

algoepico · 27 Oct 2020

Sam40 dijo:
Puedes dar más información sobre cómo proteger una web para que no te la copien o para que los robots de herramientas como hrefs no puedan espiarte?

Gracias

No hay nada infalible, como dice Lena32 (y estoy de acuerdo), para cada medida existe una contramedida, pero hay formas de detener a la mayoría de las webs que copian la tuya. Por ejemplo, la mayoría no escrapea sino que se descarga tus publicaciones desde tu feed, así que puedes desactivarlo. Otra posibilidad es instalarte un plugin como Cerber y monitorizar las IPs que te visitan (sobre todo las que acceden a tu feed). Desde ese mismo plugin puedes bloquearles el acceso. También puedes saber la IP del servidor de cualquier web pulsando la tecla windows+R, escribiendo cmd y pulsando intro (para abrir la línea de comandos) y escribiendo "ping dominiodelclon.com" (en Linux es lo mismo, desde su terminal de comandos).

Ahora bien, puede haber webs que escrapeen tus contenidos (sin tirar de tu feed) y que usen muchas IPs distintas (tendrías que ir bloqueándolas todas, pero es más complicado). Lo ideal es que aproveches que te están clonando para colarle alguna. Como intentar hacerte "dueño" de su Search Console y desindexarla, por poner un ejemplo. Pero hay más cosas que se pueden hacer. Tú solo piensa que es un espejo, así que puedes hacer que refleje lo que tú quieras.

Franyer Rivas · 27 Oct 2020

Hay muchas herramientas para hacer eso, yo he utilizado wp automátic es sencillo de usar y efectivo, aunque solo con sitios warez lo he probado

osi30 · 27 Oct 2020

No sé donde leí hace mucho que cuando copian y pegan contenido de tu página web (incluidas las imágenes) y que ni se molestan en descargar la imagen y subirla a su servidor, y siguen alojadas en tu servidor, sería crear una nueva imagen con un texto que ponga "Contenido copiado de XXX" y poner el mismo slug que la imagen que te han copiado y que está alojado en tu servidor, de esta forma en la página web copiada se verá esa imagen.

kimomalcolmx · 27 Oct 2020

yo tengo varias web clonadas completamente, incluso me salen los enlaces en ahrefs, no tengo ni idea como quitarlos la verdad, de momento parece que no han hecho daño pero si llegan a dañar el SEO no se como solucionarlo, supongo que google hará caso omiso a ese tipo de enlaces

Lena32 · 27 Oct 2020

kimomalcolmx dijo:
yo tengo varias web clonadas completamente, incluso me salen los enlaces en ahrefs, no tengo ni idea como quitarlos la verdad, de momento parece que no han hecho daño pero si llegan a dañar el SEO no se como solucionarlo, supongo que google hará caso omiso a ese tipo de enlaces

La formula para modificar dichas páginas clonadas radica en el uso de editores de codigo como dreamweaver.

Una vez la tienes en local, puedes ir a la carpeta raiz alojada en tu equipo y abrir el index con dichos editores de código. Una vez abierta, tienes acceso a cuanto hay, pero en local, para modificar, adaptar, readaptar, cambiar, personalizar (incluídas fotos, enlaces, contenidos, estilos, etc)

Lena32 · 27 Oct 2020

algoepico dijo:
No hay nada infalible, como dice Lena32 (y estoy de acuerdo), para cada medida existe una contramedida, pero hay formas de detener a la mayoría de las webs que copian la tuya. Por ejemplo, la mayoría no escrapea sino que se descarga tus publicaciones desde tu feed, así que puedes desactivarlo. Otra posibilidad es instalarte un plugin como Cerber y monitorizar las IPs que te visitan (sobre todo las que acceden a tu feed). Desde ese mismo plugin puedes bloquearles el acceso. También puedes saber la IP del servidor de cualquier web pulsando la tecla windows+R, escribiendo cmd y pulsando intro (para abrir la línea de comandos) y escribiendo "ping dominiodelclon.com" (en Linux es lo mismo, desde su terminal de comandos).

Ahora bien, puede haber webs que escrapeen tus contenidos (sin tirar de tu feed) y que usen muchas IPs distintas (tendrías que ir bloqueándolas todas, pero es más complicado). Lo ideal es que aproveches que te están clonando para colarle alguna. Como intentar hacerte "dueño" de su Search Console y desindexarla, por poner un ejemplo. Pero hay más cosas que se pueden hacer. Tú solo piensa que es un espejo, así que puedes hacer que refleje lo que tú quieras.

Nada. Para eso ya hay recursos.

En tu primera parte expones el control y gestión de ips (no evitas el plagio, pero si sabes quien accede.) Es muy sencillo, a dia de hoy desde un vpn o, algo tan simple como modificar las ips dinámicas y públicas desde la consola del pc.

Por otro lado, para "colarte" en alguna web clonada tienes que tener un mínimo conocimiento de haking o alguna herramienta para ello.

Creo que es un hecho, el scrapeo o la clonación de webs, a la orden del día. Si hay determinados lenguajes y técnicas que dificultan dicha copia: encriptar las carpetas de destino que se alojan en el server y contienen los documentos de nuestra web, incluso algunos lenguajes como php complican el hecho, sin embargo hay programas muy potentes.

De hecho, conozco algún proyecto en phytom capaz de hacer scraping a Facebook (aún en fase beta)

ryotfe · 27 Oct 2020

gracias por la respuestas pero mi duda es si eso lo podria hacer cualquiera, o se limita a las personas con alto conocimientos de programacion y demas ???

Se utilizan plugins de wordpress y cualquiera con ganas lo puede llegar a hacer ??? O son necesarios conocimientos y por lo tanto el riesgo baja considerablemente ??

onarly guzman · 27 Oct 2020

estos comentarios si son de utilidad..

Lena32 · 27 Oct 2020

ryotfe dijo:
gracias por la respuestas pero mi duda es si eso lo podria hacer cualquiera, o se limita a las personas con alto conocimientos de programacion y demas ???

Se utilizan plugins de wordpress y cualquiera con ganas lo puede llegar a hacer ??? O son necesarios conocimientos y por lo tanto el riesgo baja considerablemente ??

Según qué quieras hacer y cómo lo quieras hacer.

Hay lenguajes que te permiten scrapear pero, aún siendo muy sencillos, requieren algo de conocimientos: Laravel o el maravilloso Phytom

También has de saber un mínimo de html en cuanto a posibles modificaciones de código, estilo. Además tienes que dominar, un minimo en lo referente a rutas y jerarquización de las carpetas (site) que te bajas a tu pc.

También hay programas, relativamente sencillos de utilizar, yo conozco y tengo algunos (no, no voy a decir su nombre), en los que es tan sencillo como copiar la url en esta herramienta y fijar el grado de profundidad que quieres y listo... un 90% de los sites son bajados.

En cuanto a WP, creo que anteriormente ya se ha nombrado alguno. Hay varios, eficientes, pero limitados a wp. Son sencillos de manejar.

Espero haber podido aportar algo.

Un saludo.

MajesticCat · 27 Oct 2020

Franyer Rivas dijo:
Hay muchas herramientas para hacer eso, yo he utilizado wp automátic es sencillo de usar y efectivo, aunque solo con sitios warez lo he probado

¿Has tenido buenos resultados? En términos de posicionar la web, generar trafico e ingresos con webs automáticas?

ryotfe · 27 Oct 2020

Lena32 dijo:
Según qué quieras hacer y cómo lo quieras hacer.

Hay lenguajes que te permiten scrapear pero, aún siendo muy sencillos, requieren algo de conocimientos: Laravel o el maravilloso Phytom

También has de saber un mínimo de html en cuanto a posibles modificaciones de código, estilo. Además tienes que dominar, un minimo en lo referente a rutas y jerarquización de las carpetas (site) que te bajas a tu pc.

También hay programas, relativamente sencillos de utilizar, yo conozco y tengo algunos (no, no voy a decir su nombre), en los que es tan sencillo como copiar la url en esta herramienta y fijar el grado de profundidad que quieres y listo... un 90% de los sites son bajados.

En cuanto a WP, creo que anteriormente ya se ha nombrado alguno. Hay varios, eficientes, pero limitados a wp. Son sencillos de manejar.

Espero haber podido aportar algo.

Un saludo.

o sea que cualquiera con el plugin lo puede hacer

pues si que es un problema esto

algoepico · 27 Oct 2020

Lena32 dijo:
En tu primera parte expones el control y gestión de ips (no evitas el plagio, pero si sabes quien accede.) Es muy sencillo, a dia de hoy desde un vpn o, algo tan simple como modificar las ips dinámicas y públicas desde la consola del pc.

Claro, hay casos en los que se está realizando scraping y usando múltiples IPs, pero yo ya dije que estos dos métodos tan básicos (desactivación de tu feed y bloqueo de IPs) sirve con la mayoría de los clones (no todos los casos), ya que suelen ir a lo más simple: descargan desde el feed y desde una sola IP (la de su servidor). Si te toca alguien usando muchas IPs, pues ya es más jodida la cosa, pero en la mayoría de los casos te sirve con desactivar tu feed o bloquear el acceso desde su IP.

Lena32 dijo:
Por otro lado, para "colarte" en alguna web clonada tienes que tener un mínimo conocimiento de haking o alguna herramienta para ello.

No quise decir colarme en su servidor literalmente, sino en aprovechar que están clonando tu web para que copien algo que te favorezca: un código de verificación de Search Console, un texto que le joda la web (sobre todo si tiene AdSense) y que tú quites de tu web en cuanto haya copiado lo que querías (algunos clones solo descargan nuevos posts, pero no los actualizan), enlaces hacia las webs que quieras, etc. Depende de la sofisticación que tenga el sistema de clonado que tengan, puedes echarle imaginación y aprovecharte de ello para joderles o incluso sacar partido.

Lena32 dijo:
Creo que es un hecho, el scrapeo o la clonación de webs, a la orden del día. Si hay determinados lenguajes y técnicas que dificultan dicha copia: encriptar las carpetas de destino que se alojan en el server y contienen los documentos de nuestra web, incluso algunos lenguajes como php complican el hecho, sin embargo hay programas muy potentes.

Esto último no lo entiendo. Los escrapeos se realizan sin acceder a los archivos de tu servidor (para eso habría que hackearlo). Lo que hacen es básicamente descargar lo que cualquiera sin contraseña de admin puede descargar, es decir, hacen lo que cualquier persona podría hacer manualmente, solo que todo el proceso es automático.

¡Un saludo!

Franyer Rivas · 27 Oct 2020

MajesticCat dijo:
¿Has tenido buenos resultados? En términos de posicionar la web, generar trafico e ingresos con webs automáticas?

Ahorita ando con un sistema digamos "semi-automático", primero scrapeo 1k de post como máximo
dejo que el sitio tenga un posicionamiento natural, luego optimizo el contenido que llegue al top 20-30 y el contenido más buscado dentro del sitio web (midiendo las búsquedas del sitio)
luego automatizo nuevamente el scrapeo pero lento (2-4 post día, simulando un posteo normal)
ejemplo del crecimiento sin linkbuilding:

y las ganancias no me quejo, pero se puede sacar más cuando el sitio despegue aún más

kimomalcolmx · 28 Oct 2020

Franyer Rivas dijo:
Ahorita ando con un sistema digamos "semi-automático", primero scrapeo 1k de post como máximo
dejo que el sitio tenga un posicionamiento natural, luego optimizo el contenido que llegue al top 20-30 y el contenido más buscado dentro del sitio web (midiendo las búsquedas del sitio)
luego automatizo nuevamente el scrapeo pero lento (2-4 post día, simulando un posteo normal)
ejemplo del crecimiento sin linkbuilding:

y las ganancias no me quejo, pero se puede sacar más cuando el sitio despegue aún más

Cuantas visitas dia tiene una web como esta aproximadamente?