📣 Seu anúncio aqui? Anuncie no ForoBeta

É possível fazer scraping em páginas protegidas por cloudflare?

  • Autor Autor xaiborweb
  • Data de início Data de início
Tradução em andamento: em alguns minutos este tópico estará em português. Por enquanto, o conteúdo está no original em espanhol. Ver original
xaiborweb

xaiborweb

Dseda
Programador
No recomendado
Usuário com poucas negociações! Use sempre o saldo do ForoBeta!
hola, últimamente e visto muchas webs, con la protección de cloudflare que nos redirecciona 5sg al entrar a la web, mientras crea unas cookies y hace unas validaciones.
PHP: 
ejemplo: http://kissasian.com/
por obvias razones hacerle un simple file_get_contents o un curl normalito no funciona, entonces me preguntaba si existe alguna manera para poder hacer scraping a este tipo de paginas con esta protección.
 
Foi útil? Participe da conversa

Com sua conta grátis você pode responder, mandar mensagem privada ao autor e comprar com Saldo retido: o pagamento é liberado quando você recebe o combinado.

Continuar com o Google Criar conta com e-mail
Leva 30 segundos · você volta a este tópico ao terminar
[MENTION=35077]xaiborweb[/MENTION] prueba almacenando primero la cookie, una vez hecho esto utiliza cURL y envia la cookie que creaste anteriormente, de esta manera asumo ya te enviara directamente a la web...
 
fabriccio disse:
[MENTION=35077]xaiborweb[/MENTION] prueba almacenando primero la cookie, una vez hecho esto utiliza cURL y envia la cookie que creaste anteriormente, de esta manera asumo ya te enviara directamente a la web...
Clique para expandir...

ya lo intente y no me funciono no se si lo hice mal o el sistema de protección de cloudflare no se puede vencer solo con eso, ya que parte de crear la cookie y validarla luego hace un redireccion con javascript y tengo entendido que el php no ejecuta el javascript, ajax u otro.
 
Has probado con Visual Web Ripper o similar? Al dedicarse a ir abriendo página a página para extraer contenido no creo que te capen.
 
BlogsPopuli disse:
Has probado con Visual Web Ripper o similar? Al dedicarse a ir abriendo página a página para extraer contenido no creo que te capen.
Clique para expandir...

no no e probado pero como es cierta info que necesito obtener me queda mas fácil por php que es también lo que e trabajado, por hay escuche que la protección de cloudflare no se activa con la ip de google, así que estoy intentando subir mi archivo php a google cloud pero no lo e logrado
http://forobeta.com/php/526053-subir-archivo-php-a-google-cloud.html
de casualidad tu sabes como hacerlo?
 
xaiborweb disse:
no no e probado pero como es cierta info que necesito obtener me queda mas fácil por php que es también lo que e trabajado, por hay escuche que la protección de cloudflare no se activa con la ip de google, así que estoy intentando subir mi archivo php a google cloud pero no lo e logrado
http://forobeta.com/php/526053-subir-archivo-php-a-google-cloud.html
de casualidad tu sabes como hacerlo?
Clique para expandir...

Ni idea.. Si utilizo VWR es precisamente porque no tendría ni idea de escrapear un sitio con php 😛
 
Con Python y BeautifulSoup supongo!!!
 
Você precisa estar logado ou cadastrado para responder aqui.

Tópicos similares

bacanzito
É possível fazer Scraping no Facebook para ter uma estatística das palavras..
Respostas
2
Visitas
853
dannegm
D
Voltar
Topo