[Idea] Buscador de personas tomando datos de Google, Bing u otros pero sin usar Apis

  • Autor Autor marjuanm
  • Fecha de inicio Fecha de inicio
marjuanm

marjuanm

Zeta
Programador
Verificación en dos pasos activada
Que tal:

Esta es solo una idea para ver si no me meto en un problema más adelante y es mejor preguntar primero :sorprendido:.

Lo que pretendo es hacer un buscador de personas, pero que traiga los resultados desde Google, Bing, Duck Duck Go (entre otros) pero sin hacer uso de las apis, ahorita explico porque.

Buscándome a mi mismo he encontrado lo siguiente en estos buscadores:

"juan manuel mar hernandez""marjuanm.dev@gmail.com" - Google Search

https://www.bing.com/search?q="juan...-51&sk=&cvid=C63303C0696F40BC9C84628C181A88B2

"juan manuel mar hernandez""marjuanm.dev@gmail.com" at DuckDuckGo

En todos ellos los primeros resultados soy yo, he conseguido refinar la busqueda metiendo tantos parametros sea posible a la busqueda (nombre de la persona, email, entre otros) y probé con otras personas que conozco y parece verse bien todo. Hasta ahí estoy satisfecho con los resultados.

El detalle es que si quiero usar las apis de estos buscadores me topo con la sorpresa de que estan limitadisimas. Por ejemplo la api para buscar en google solo permite 100 búsquedas por día ( Custom Search JSON API | Custom Search
| Google Developers
) no inventen, quien va a usar eso, la de bing 3000 por mes ( Precios de Bing Search API v7 | Microsoft Azure ), osea 100 diarias, la única que se ve mejor es la de duck duck go https://duckduckgo.com/api 10,000,000 por día, nada mal, el problema es que duck duck go no encuentra tantos resultados como google.

Y pues tener que pagar para algo que es solo una prueba pues como que no, sería un proyecto que tampoco espero volverme rico, solo tener un buscador de personas decente, pero con esas limitaciones...pues ya está de pensarse.

Por eso se me ocurre otra forma: En lugar de usar las apis yo podría descargar todo el fuente de una página de resultados de google o bing usando php, extraer los resultados y mostrarlos por pestañas siempre especificando que vienen de google, bing u otros. El problema es: ¿irá a haber problemas legales con google o bing porque no estoy usando su api?, en teoría sería como si usara su buscador, pero solo que invisible (php) y muestro los resultados. Hasta ahora no he visto en ningún momento resultados patrocinados como para decir que les estoy quitando la publicidad. No se, que me aconsejan.

Muchas gracias por sus respuestas, saludos.
 
[MENTION=27353]marjuanm[/MENTION] , saludos.

No creo que haya problemas legales.

En teoría no podés hacer eso, al menos no con un bot... Pero lo máximo que pueda pasar, es que te baneen de Google (Bing ni idea que onda)...

Nada de otro mundo.
 
Gracias por tu respuesta, lo que quiero hacer es desde mi servidor conectarme a google, lanzar una búsqueda y luego procesar el html que me devuelve (tal como lo hace cualquier navegador web).
 
"Y pues tener que pagar para algo que es solo una prueba pues como que no, sería un proyecto que tampoco espero volverme rico" - Los demás tampoco esperamos volvernos ricos, pero si ganar algo al igual que tu. (sin intentar ofenderte)
Respecto a lo que preguntas, no te lo voy a dar echo, pero te voy a decir que es muy fácil..
Solo necesitas Curl, file_get_contents() o incluso puedes usar Simple HTML DOM Parse

Enviarías la url personalizada, recogen la información y luego tu la procesas y muestras a placer. Tienes toda más información abajo.

Documentación:
PHP: Ejemplo de curl basico - Manual
PHP: file_get_contents - Manual
PHP Simple HTML DOM Parser: Manual
 
Ojo con las búsquedas ya que si realizas mucha cantidad y muy continuas a la larga google pone como primer barrera un captcha para que pueda brindarte el resultado. Experiencia propia :encouragement:
 
Ojo con las búsquedas ya que si realizas mucha cantidad y muy continuas a la larga google pone como primer barrera un captcha para que pueda brindarte el resultado. Experiencia propia :encouragement:
si, es lo malo :sorprendidos:, el problema es que no se pueden unir consultas en una sola (por lo menos no consultas exactas que es donde mejores resultados da), habrá alguna otra manera?
 
Atrás
Arriba