Ayuda con scraping en php

[ciscostar77]

Que tal comunidad que les parece un scrap en php o en que lenguaje lo harían?

 

[Darkfrost]

Por ahi vi a alguien usar scrapbox, y tambien screaming frog, pero adicional usaba una extension en chrome para copiar los valores donde aparecen los datos impresos de la tabla, Aqui hay un tutorial de como hacerlo,

 

[kanikase]

Los diferentes lenguajes de programación se crearon para diferentes necesidades, con eso tienes la respuesta, php no es malo o bueno, solamente cumple su propósito.

 

[moiseseccam]

Python de cabeza

 

[jmdoren]

Que tal comunidad que les parece un scrap en php o en que lenguaje lo harían?

En el que manejes mejor,

 

[edw9879]

Respecto a PHP para realizar scrapping, solo se usa para páginas que no tiene ningún filtro de seguridad.
Te dejo el siguiente el enlace, es similar a tu pregunta al cual ya se resolvió tu duda.

Scrapear: Plugin Automático vs Python - Diferencias y Limitaciones

Hola, que tal! Por el momento nunca he scrapeado una web pero me interesa mucho el mundito del Web Scraping y tengo una duda algo básica por falta de experiencia. Que no se puede hacer con un plugin de Scraping cómo Automatic, que si se pueda hacer con código? Código me refiero a Python y JS que...

forobeta.com

 

[zerocool91]

Pues mira, yo he usado PHP en sitios sencillos... para otros he usado Python, normalmente uso php por que ya tengo más experiencia pero se que con Python puedes hacerlo.

 

[jmdoren]

Respecto a PHP para realizar scrapping, solo se usa para páginas que no tiene ningún filtro de seguridad.
Te dejo el siguiente el enlace, es similar a tu pregunta al cual ya se resolvió tu duda.

Scrapear: Plugin Automático vs Python - Diferencias y Limitaciones

Hola, que tal! Por el momento nunca he scrapeado una web pero me interesa mucho el mundito del Web Scraping y tengo una duda algo básica por falta de experiencia. Que no se puede hacer con un plugin de Scraping cómo Automatic, que si se pueda hacer con código? Código me refiero a Python y JS que...

forobeta.com

???? con php ( curl ) puedes efectuar toda la cominocación http, con cookies, headers y lo que necesites para seguridad. Otros lenguajes puede que lo hagan más facilmente, pero php puede (yo lo hago).

Los lenguajes te facilitan la vida con sintaxis que se acomodan a tu forma de pensar o necesidades, pero todo buen lenguaje puede todo. De hecho el tradicional C lo puede todo, php está hecho en C, pero lusamos php porque está adaptado a las necesidades de desarrollo en web. Pero al final todos los lenguajes terminan generando código de máquina, así que si de verdad quieres un lenguaje que se capaz de todo (incluso de volverte loco) usa assembler

 

[jmdoren]

Browser: Retrieve Web pages emulating a browser - PHP Classes

This class can be used to retrieve Web pages emulating a browser. It can retrieve a given page, parse it and proceed retrieving the pages or content that would result of clicking on given links or submitting forms in the initial page. The class provides functions to locate the links to click or...

www.phpclasses.org

 

[edw9879]

???? con php ( curl ) puedes efectuar toda la cominocación http, con cookies, headers y lo que necesites para seguridad. Otros lenguajes puede que lo hagan más facilmente, pero php puede (yo lo hago).

Los lenguajes te facilitan la vida con sintaxis que se acomodan a tu forma de pensar o necesidades, pero todo buen lenguaje puede todo. De hecho el tradicional C lo puede todo, php está hecho en C, pero lusamos php porque está adaptado a las necesidades de desarrollo en web. Pero al final todos los lenguajes terminan generando código de máquina, así que si de verdad quieres un lenguaje que se capaz de todo (incluso de volverte loco) usa assembler

Browser: Retrieve Web pages emulating a browser - PHP Classes

This class can be used to retrieve Web pages emulating a browser. It can retrieve a given page, parse it and proceed retrieving the pages or content that would result of clicking on given links or submitting forms in the initial page. The class provides functions to locate the links to click or...

www.phpclasses.org

No he usado lo que mencionas, y no sé que tan eficiente será a lo que ya estoy usando.
Cuando estaba haciendo scrapping con PHP, me topé con varias páginas que tenían algún filtro de seguridad, por ejemplo cloudflare, eventos, capturas de Ajax, hacer clic a un botón y esperar la carga de Ajax, y entre otros.
Y para no complicarme, use otros lenguajes que hacen un mejor trabajo(opinión personal), en este caso CEFSHARP, usando navegadores embebidos(chromium).

Ahora, si me dices que se puede realizar todo lo que mencioné con PHP, me caería perfecto. Me tendré que actualizar, ya que dejé PHP(para hacer scrapping), solo lo uso para otros propósitos.

 

[jmdoren]

No he usado lo que mencionas, y no sé que tan eficiente será a lo que ya estoy usando.
Cuando estaba haciendo scrapping con PHP, me topé con varias páginas que tenían algún filtro de seguridad, por ejemplo cloudflare, eventos, capturas de Ajax, hacer clic a un botón y esperar la carga de Ajax, y entre otros.
Y para no complicarme, use otros lenguajes que hacen un mejor trabajo(opinión personal), en este caso CEFSHARP, usando navegadores embebidos(chromium).

Ahora, si me dices que se puede realizar todo lo que mencioné con PHP, me caería perfecto. Me tendré que actualizar, ya que dejé PHP(para hacer scrapping), solo lo uso para otros propósitos.

es que no es python o php o ruby el que hace las cosas, es el programa que no es más que la lógica del programador. Si la mayoría usa el lenguaje X es porque es más fácil para ese propósito. Pero si no lo conoces y dominas otro, entonces lo de la facilidad se pierde

 

[jacunamatata]

Scraping con php si esta bien, se hace muy rápido para contenido público y también con cierta seguridad (logins, cookies) con python se siente más robusto ya que hay librerías específicas para esa necesidad. Puedes quitar un tornillo estrella con un desarmador plano pero si tuvieras uno en estrella lo usarías ?
Saludos

 

[andrs]

Si no es necesario PHP usa RapidMiner

 

[00x1tur4n_]

Que tal comunidad que les parece un scrap en php o en que lenguaje lo harían?

Python + Selenium, funcional 100%

 

[freishner]

Python