Google Links in einer Liste

[TommyS]

Hallo,

ich habe folgendes Problem, ich brauche ein Snippet oder ähnliches, welches mir bei einem beliebigen Suchbegriff, alle Links von Google auf allen Seiten in einer Liste anzeigt.

Beispiel: Suchwort ist "zahnarzt"

dann sollen untereinander alle Links von Google zu diesem Suchwort ausgegben werden. Kann mir da bitte einer weiterhelfen?

 

[M.L.]

Muss es mit Java sein ? Hierfür könnte man sich JSoup ansehen (Stichworte: Mechanize web scraping Java)
Alternativ könnte man Python bemühen: Thread von Stackoverflow

 

[Xyz1]

Braucht man bei Google nicht inzwischen eine API dafür?

 

[mihe7]

Braucht man bei Google nicht inzwischen eine API dafür?

Jo:
curl https://www.google.de/search?q=zahnarzt

liefert in viel HTML eingebettet:

Error 403 (Forbidden)

Your client does not have permission to get URL <code>/search?q=zahnarzt</code> from this server. Please see Google's Terms of Service posted at http://www.google.com/terms_of_service.html

Für die Suche kann man dann die Google Search API verwenden: https://developers.google.com/custom-search/v1/overview

 

[Xyz1]

Oder man muss Google austricksen... Aber dann werden sie sauer und du wirst vielleicht in einem Fluss versenkt.