Extraer todas las URLs de una web con cURL (PHP)

<?php

require_once('cURL.php');

$cURL = new cURL('cookies.txt', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'); 
$urls = $cURL->getURLs('https://forobeta.com')->URLs[0];

print_r($urls);

?>

Array
(
[0] => http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd
[1] => XHTML namespace
[2] => https://forobeta.com/index.php
[3] => https://forobeta.com/favicon.ico
[4] => https://www.facebook.com/tr?id=1667699396834981&ev=PageView&noscript=1
[5] => https://forobeta.com
[6] => https://forobeta.com/
[7] => https://ajax.googleapis.com/ajax/libs/yui/2.9.0/build/yuiloader-dom-event/yuiloader-dom-event.js
[8] => https://ajax.googleapis.com/ajax/libs/yui/2.9.0/build
[9] => https://ajax.googleapis.com/ajax/libs/yui/2.9.0/build/connection/connection-min.js?v=425
[10] => https://forobeta.com
...

Hacer clic para expandir...

adrianaamor dijo:

una pregunta los user agent se puede usar cualquiera ejemplo el de tu navegador yo lo puedo usar ejemplo las ip no se pueden falsificar que yo sepa

Hacer clic para expandir...

jmdoren dijo:

Puedes usar lo que quieras, incluso inventar. Pero eso le da información al sitio y podría responder distinto según el agente (si es un celular o un desktop por ejemplo).
También podrías usar el de googlebot u otro robot, pero hoy si usas eso y tu ip no está en la lista de ips de google por ejemplo, algunos sitios lo detectan y te bloquean
Lo más sano puede ser en efecto, usar el de algún navegador que tengas instalado

Hacer clic para expandir...

Miguel92 dijo:

Pregunta: Se puede reemplazar

PHP:

'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'

por esto

PHP:

$_SERVER['HTTP_USER_AGENT']

Hacer clic para expandir...

Miguel92 dijo:

Pregunta: Se puede reemplazar

PHP:

'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'

por esto

PHP:

$_SERVER['HTTP_USER_AGENT']

Hacer clic para expandir...

DanielMarte dijo:

no


$_SERVER['HTTP_USER_AGENT']

esto obtiene el user agent osea no creo que se pueda usar en este caso

Hacer clic para expandir...