Como extraigo todas las url de un sitio web (Millones de url)

teury

Eta

Verificación en dos pasos activada

Verificado por Whatsapp

Verificado por Binance

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 6 Jun 2023

• #1

Quisiera saber la forma mas facil de estraer millones de url, de un sitio web, pueden ser url que ya fueron indexadas por google.

El sitio no tiene sitemap.xml

 

Jarem

VIP

Mi

Verificado

Verificación en dos pasos activada

Verificado por Whatsapp

¡Ha verificado su Paypal!

Verificado por Binance

¡Usuario popular!

Suscripción a IA

• 6 Jun 2023

• #2

este método te puede servir https://forobeta.com/temas/plugin-para-mirar-cual-de-mis-url-estan-sin-indexar.952074/#post-8592155

 

J

jonay

Kappa

Verificación en dos pasos activada

¡Usuario popular!

• 6 Jun 2023

• #3

Screaming frog

 

Xavier Z

Gamma

Verificado

Verificación en dos pasos activada

Verificado por Whatsapp

Verificado por Binance

• 6 Jun 2023

• #4

En caso solo hayas buscado directamente por sitemap.xml, puedes buscar en el robots.txt y con los siguientes:

Yoast SEO	/sitemap_index.xml
Google XML Sitemap	/xmlsitemap.xml
Rank Math SEO	/sitemap_index.xml
All In One SEO	/sitemap.xml

 

teury

Eta

Verificación en dos pasos activada

Verificado por Whatsapp

Verificado por Binance

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 6 Jun 2023

• #5

Jarem dijo:

este método te puede servir https://forobeta.com/temas/plugin-para-mirar-cual-de-mis-url-estan-sin-indexar.952074/#post-8592155

Hacer clic para expandir...

Gracias, lo probé y solo me deja sacar como 200 url, a pesar quel sitio tiene millones.