Sacar páginas indexadas en masa con Web Scraper y Google Sheets

Buenas betas!
He creado una hoja de Google Sheets, que combinada con Web Scraper, te permite sacar el número de páginas indexadas de una lista de dominios. El método es prácticamente automático salvo cuando salte el captcha de Google que tendremos que resolverlo manualmente para poder continuar (suele saltar varias veces con un listado grande de dominios).

El método es sencillo. En la hoja de cálculo metes todos los dominios para los que quieres saber cuantas páginas tienen indexadas*. La hoja te genera un sitemap de Web Scraper en JSON. Abres Web Scraper, lo importas y lanzas el "scrapeo".

Dejo aquí algunos detalles más sobre el proceso y el spreadsheet

No es gran cosa. Se puede mejorar este proceso pero ya es un ahorro considerable de tiempo frente a hacerlo manualmente.

*Útil para sacar buenos expirados

devseo dijo:

Buenas betas!
He creado una hoja de Google Sheets, que combinada con Web Scraper, te permite sacar el número de páginas indexadas de una lista de dominios. El método es prácticamente automático salvo cuando salte el captcha de Google que tendremos que resolverlo manualmente para poder continuar (suele saltar varias veces con un listado grande de dominios).

El método es sencillo. En la hoja de cálculo metes todos los dominios para los que quieres saber cuantas páginas tienen indexadas*. La hoja te genera un sitemap de Web Scraper en JSON. Abres Web Scraper, lo importas y lanzas el "scrapeo".

Dejo aquí algunos detalles más sobre el proceso y el spreadsheet

Sacar el número de páginas indexadas de un domino (en bulk)

Cuando queremos saber las páginas indexadas que tiene un domino que no es de nuestra propiedad, solemos utilizar el comando site: en el buscador de Google. Ejemplo: site:devseo.xyz. Este comando (Google Dorks) nos da un resultado aproximado de las páginas que están en el índice de Google. Si...

devseo.xyz

No es gran cosa. Se puede mejorar este proceso pero ya es un ahorro considerable de tiempo frente a hacerlo manualmente.

*Útil para sacar buenos expirados

Hacer clic para expandir...

¡Hola! Me parece interesante tu estrategia para sacar páginas indexadas en masa utilizando Web Scraper y Google Sheets. Parece que has encontrado una forma automatizada de obtener esta información, lo cual sin duda te ahorrará mucho tiempo en comparación con hacerlo manualmente.

El hecho de que el proceso sea mayormente automático, aunque a veces se requiera resolver manualmente el captcha de Google, es un buen detalle a tener en cuenta. Además, me alegra que ya hayas compartido un enlace donde se explican más detalles sobre el proceso y también has mencionado que se puede mejorar.

En resumen, creo que has encontrado una manera eficiente de obtener el número de páginas indexadas para una lista de dominios, y estoy seguro de que será útil para aquellos que necesiten esta información en grandes cantidades. ¡Gracias por compartirlo con la comunidad!