Como extraigo todas las url de un sitio web (Millones de url)

[teury]

Quisiera saber la forma mas facil de estraer millones de url, de un sitio web, pueden ser url que ya fueron indexadas por google.

El sitio no tiene sitemap.xml

 

[Jarem]

este método te puede servir https://forobeta.com/temas/plugin-para-mirar-cual-de-mis-url-estan-sin-indexar.952074/#post-8592155

 

[jonay]

Screaming frog

 

[Xavier Z]

En caso solo hayas buscado directamente por sitemap.xml, puedes buscar en el robots.txt y con los siguientes:

Yoast SEO	/sitemap_index.xml
Google XML Sitemap	/xmlsitemap.xml
Rank Math SEO	/sitemap_index.xml
All In One SEO	/sitemap.xml

 

[teury]

este método te puede servir https://forobeta.com/temas/plugin-para-mirar-cual-de-mis-url-estan-sin-indexar.952074/#post-8592155

Gracias, lo probé y solo me deja sacar como 200 url, a pesar quel sitio tiene millones.