Evitar que una pagina me detecte como bot

xaiborweb · 14 Feb 2016

hola forobeta estoy programando un bot con curl para detectar enlaces rotos de diferentes servidores

pero los siguientes servidores me detectan como bot y no me muestran el html

HTML:

https://openload.co/f/Y0jh6goIxwE/kung_fu_3_ts_lati.avi
https://www.uploadable.ch/file/bjPVNsw2WRdY
http://cloudsix.me/ufcu9cjs8k9s
https://uplod.it/np3ljbi2eehb
http://gamovideo.com/revo3zwc3mfu
https://dailyuploads.net/1ugepj9b2ize
https://1fichier.com/?uplfap3k1g
https://hdstream.to/#!f=Jow2U4UM
http://rapidgator.net/file/155937f161cfb3458d2fc9420573910e
https://www.secureupload.eu/x2p343rhwwm1

me preguntaba si me podrían recomendar alguna librería o método para poder ver el html de los servidores citados, gracias 🙂

kanikase · 14 Feb 2016

kung fu 3 ts lati.avi.mp4 | openload :fatigue::fatigue::fatigue:

PHP:

function curl($url) {
    $ch = curl_init($url);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_REFERER, $url);
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
    $page = curl_exec($ch);
    curl_close($ch);
    return $page;
}


echo curl('https://openload.co/f/Y0jh6goIxwE/kung_fu_3_ts_lati.avi');

xaiborweb · 15 Feb 2016

kanikase dijo:

kung fu 3 ts lati.avi.mp4 | openload :fatigue::fatigue::fatigue:

PHP:

function curl($url) {
    $ch = curl_init($url);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_REFERER, $url);
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
    $page = curl_exec($ch);
    curl_close($ch);
    return $page;
}


echo curl('https://openload.co/f/Y0jh6goIxwE/kung_fu_3_ts_lati.avi');

muchas gracias pero al igual hay algunos que no funcionan por ejemplo este 410 Gone sabes a que se debe ?

PRO · 15 Feb 2016

Revisa si puedes acceder con las cookies desactivadas en tu navegador.
Podría ser que estén detectando si aceptas cookies o no.

Usuario eliminado 8086 · 15 Feb 2016

Envia las cabeceras como si es el navegador Chrome y listo

Saludos

xaiborweb · 15 Feb 2016

marcofbb dijo:
Envia las cabeceras como si es el navegador Chrome y listo

Saludos

puedes compartir un ejemplo si no fuera mucha molestia marco ?

yo intento obtener el html asi:

PHP:

<?php 
	$url='http://gamovideo.com/revo3zwc3mfu';
	$ch = curl_init($url); //inciamos conexion curl
	curl_setopt($ch, CURLOPT_USERAGENT,'Mozilla/5.0 (Windows NT 5.1; rv:31.0) Gecko/20100101 Firefox/31.0'); 
	curl_setopt($ch, CURLOPT_HTTPHEADER,array('Accept-Language: en')); 
	curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_REFERER, $url);
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);

	$html_enlace = curl_exec($ch); //Guardamos html
	curl_close($ch); //Cerramos conexion curl

	echo $html_enlace;
?>

Usuario eliminado 8086 · 15 Feb 2016

xaiborweb dijo:

puedes compartir un ejemplo si no fuera mucha molestia marco ?

yo intento obtener el html asi:

PHP:

<?php 
	$url='http://gamovideo.com/revo3zwc3mfu';
	$ch = curl_init($url); //inciamos conexion curl
	curl_setopt($ch, CURLOPT_USERAGENT,'Mozilla/5.0 (Windows NT 5.1; rv:31.0) Gecko/20100101 Firefox/31.0'); 
	curl_setopt($ch, CURLOPT_HTTPHEADER,array('Accept-Language: en')); 
	curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_REFERER, $url);
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);

	$html_enlace = curl_exec($ch); //Guardamos html
	curl_close($ch); //Cerramos conexion curl

	echo $html_enlace;
?>

Cabeceras: Screenshot by Lightshot

Igual tienes que ver si cloudflare no te bloqueo el IP, que HTML te devuelve la web con curl?

Tutorial : [APORTE] file_get_contents(), cURL, HTTP_Request - Foros del Web

xaiborweb · 15 Feb 2016

marcofbb dijo:
Cabeceras: Screenshot by Lightshot

Igual tienes que ver si cloudflare no te bloqueo el IP, que HTML te devuelve la web con curl?

Tutorial : [APORTE] file_get_contents(), cURL, HTTP_Request - Foros del Web

este html me devuelve con curl https://gyazo.com/f0bddbf5c073cd007b11355e580a7b53

al parecer hace un petición post antes de mostrar el contenido para detectar si somos humanos o bots, pues al menos eso creo.

y en la foto que compartiste como hago para saber mi cookie ?

Usuario eliminado 8086 · 15 Feb 2016

xaiborweb dijo:
este html me devuelve con curl https://gyazo.com/f0bddbf5c073cd007b11355e580a7b53

al parecer hace un petición post antes de mostrar el contenido para detectar si somos humanos o bots, pues al menos eso creo.

y en la foto que compartiste como hago para saber mi cookie ?

Te voy a recomendar que contrates un programador en el área de negocios, no es algo complejo pero tienes que saber varias cosillas para hacerlo por tu medio de los cuales primero tenes que saber algunas basicas.

Saludos

Andres128 · 22 Feb 2016

xaiborweb dijo:
este html me devuelve con curl https://gyazo.com/f0bddbf5c073cd007b11355e580a7b53

al parecer hace un petición post antes de mostrar el contenido para detectar si somos humanos o bots, pues al menos eso creo.

y en la foto que compartiste como hago para saber mi cookie ?

En Chorme primero oprimes F12 por ejemplo en la pagina Google.com y te vas a network, allí en google escribes algo que se YO FOROBETA y te da unos resultados luego de la petición:

Haces click encima y ahí vez lo que nos comenta marcofbb :encouragement:

Evitar que una pagina me detecte como bot

xaiborweb

kanikase

xaiborweb

PRO

Usuario eliminado 8086

xaiborweb

Usuario eliminado 8086

xaiborweb

Usuario eliminado 8086

Andres128

Temas similares