Problemas ao fazer scraping de dados: soluções e ferramentas recomendadas

Hello community,

I've been working on a project that involves scraping data from X (formerly Twitter) and I've been running into several roadblocks. Between request limits, constant CAPTCHAs, and IP blocking, it's become a bit tricky to continue scraping on a large scale. 😅

I know using proxies helps, but the browser fingerprinting issue is also making things difficult. I was wondering if any of you have used any tools that make the process easier without being detected by these platforms.

I've been trying out a solution called Multilogin , which allows you to create unique browser profiles and automatically rotate IPs, which has helped me a lot to continue collecting data without so many blocks. Has anyone else worked with these types of tools? Any tips or experiences you can share would be great.

Thanks in advance! If anyone wants to know more about this tool, here is more information: Multilogin .

¿pero usas la api de la página de twitter?
¿la normal o la de paga?

Si no usas una api (que es muy limitada actualmente en su versión gratuita hasta donde tengo entendido) ya no puedes acceder a la web y recuperar datos de los perfiles públicos, antes era posible obtener el número de seguidores, etc, pero ya no

marjuanm disse:

Si no usas una api (que es muy limitada actualmente en su versión gratuita hasta donde tengo entendido) ya no puedes acceder a la web y recuperar datos de los perfiles públicos, antes era posible obtener el número de seguidores, etc, pero ya no

Clique para expandir...

esto mismo iba a decir , sin la API no puedes hacer mucho aunque con la version gratuita tampoco es que haga la gran diferencia , pero no conozco alguna forma actualmente que se pueda hacer sin API