Extrair todas as URLs de um site com cURL (PHP)

zcriptz · 24/07/2019

Deberán hacerle un require a esta clase que hice: https://forobeta.com/php/715225-clase-curl-php.html

PHP:

<?php

require_once('cURL.php');

$cURL = new cURL('cookies.txt', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'); 
$urls = $cURL->getURLs('https://forobeta.com')->URLs[0];

print_r($urls);

?>

Este código saca todas las URLs que hay en el index de ForoBeta, simplemente cambiando la URL las tomará de otra.

(Si es una web más complicada quizás deban poner ciertas cabeceras)

Resultado:

Array
(
[0] => http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd
[1] => XHTML namespace
[2] => https://forobeta.com/index.php
[3] => https://forobeta.com/favicon.ico
[4] => https://www.facebook.com/tr?id=1667699396834981&ev=PageView&noscript=1
[5] => https://forobeta.com
[6] => https://forobeta.com/
[7] => https://ajax.googleapis.com/ajax/libs/yui/2.9.0/build/yuiloader-dom-event/yuiloader-dom-event.js
[8] => https://ajax.googleapis.com/ajax/libs/yui/2.9.0/build
[9] => https://ajax.googleapis.com/ajax/libs/yui/2.9.0/build/connection/connection-min.js?v=425
[10] => https://forobeta.com
...

Josepfer · 25/07/2019

gracias por el aporte

CamaronCito · 26/07/2019

Esta muy muy bien el código gracias por colaborar con los nuevos programadores y contribuir con la comunidad espero noo te haya tomado mucho tiempo hacerlo 🙂🙂

falcondev · 05/08/2019

gracias buen aporte

zcriptz · 23/04/2020

Sigue funcionando, lo estoy usando para:

Reprodutor Proxy de "Google Storage" Grátis 😏

Hice otro tema creando un script para crear los reproductores: https://forobeta.com/temas/script-para-crear-players-gratis-google-storage-proxy.772155/#post-6398004 ____________ Similar al Stream Proxy que hice en este tema...

forobeta.com

DanielMarte · 26/04/2020

una pregunta los user agent se puede usar cualquiera ejemplo el de tu navegador yo lo puedo usar ejemplo las ip no se pueden falsificar que yo sepa

Master1212 · 26/04/2020

gracias por el aporte bro 😎

jmdoren · 28/04/2020

adrianaamor disse:
una pregunta los user agent se puede usar cualquiera ejemplo el de tu navegador yo lo puedo usar ejemplo las ip no se pueden falsificar que yo sepa

Puedes usar lo que quieras, incluso inventar. Pero eso le da información al sitio y podría responder distinto según el agente (si es un celular o un desktop por ejemplo).
También podrías usar el de googlebot u otro robot, pero hoy si usas eso y tu ip no está en la lista de ips de google por ejemplo, algunos sitios lo detectan y te bloquean
Lo más sano puede ser en efecto, usar el de algún navegador que tengas instalado

DanielMarte · 28/04/2020

jmdoren disse:
Puedes usar lo que quieras, incluso inventar. Pero eso le da información al sitio y podría responder distinto según el agente (si es un celular o un desktop por ejemplo).
También podrías usar el de googlebot u otro robot, pero hoy si usas eso y tu ip no está en la lista de ips de google por ejemplo, algunos sitios lo detectan y te bloquean
Lo más sano puede ser en efecto, usar el de algún navegador que tengas instalado

gracias por la informacion

grunst3r · 17/05/2020

Muy buena, gracias por el aporte !

Miguel92 · 04/06/2020

Pregunta: Se puede reemplazar

PHP:

'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'

por esto

PHP:

$_SERVER['HTTP_USER_AGENT']

DanielMarte · 04/06/2020

Miguel92 disse:
Pregunta: Se puede reemplazar

PHP:

'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'

por esto

PHP:

$_SERVER['HTTP_USER_AGENT']

no

$_SERVER['HTTP_USER_AGENT']

esto obtiene el user agent osea no creo que se pueda usar en este caso

zcriptz · 12/07/2020

Miguel92 disse:
Pregunta: Se puede reemplazar

PHP:

'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'

por esto

PHP:

$_SERVER['HTTP_USER_AGENT']

Si, se puede.

DanielMarte disse:
no

$_SERVER['HTTP_USER_AGENT']

esto obtiene el user agent osea no creo que se pueda usar en este caso

Estás equivocado, si se puede.

Extrair todas as URLs de um site com cURL (PHP)

zcriptz

Josepfer

CamaronCito

falcondev

zcriptz

Reprodutor Proxy de "Google Storage" Grátis 😏

DanielMarte

Master1212

jmdoren

DanielMarte

grunst3r

Miguel92

DanielMarte

zcriptz

Tópicos similares