Springerlink Dateien vollautomatisch herunterladen

[dchrist1]

Hallo zusammen,

ich habe mal eine Anfängerfrage. Ich bin auf die Seite Springerlink.com gestoßen und habe gesehen, dass man dort jede Menge Bücher downloaden kann, wenn man einen Account hat. Diesen Account besitzen z. B. Hochschulen. Jetzt stellt sich für mich die Frage, ist es möglich, dass man eine Software schreibt, die diese Bücher (PDF-Dateien) vollautomatisch herunterlädt? Ich würde sagen, dass auf der Internetseite eine Struktur vorherrscht, die immer gleich aussieht, daher sollte das doch irgendwie möglich sein oder? Nach welchen Stichworten muss ich mich umschauen, damit ich mich in die Thematik ein wenig einlesen kann. Mich würde es einfach nur reizen, soetwas mal auszuprobieren.

Viele Grüße

Daniel Christ

 

[XHelp]

Eine ziemlich oberflächliche Antwort: ja, es ist möglich.
Stichwörten wären da wohl:
HttpURLConnection
ggf XPath, XQuery für das Parsen der Seite.

Im Endeffekt läuft es auf folgendes hinaus: du musst alles das in Java nachmachen, was du manuell im Browser machst.

 

[dchrist1]

Hallo,

vielen Dank für die Hinweise. Ich werde mich mal dieses Wochenende einwenig damit beschäftigen.

Viele Grüße

D. Christ

 

[homer65]

Es hatt bereits einen Thread zu diesem Thema gegeben.
Einfach mal die Forensuche benutzen.

 

[ice-breaker]

Verstößt garantiert gegen die Nutzungsbestimmungen und du riskierst, dass SpringerLink die Partnerschaft mit deiner Universität auflöst.
Und da würden dann einige sehr sauer sein.

 

[XHelp]

Verstößt garantiert gegen die Nutzungsbestimmungen und du riskierst, dass SpringerLink die Partnerschaft mit deiner Universität auflöst.
Und da würden dann einige sehr sauer sein.

Ist doch nichts anderes als seine eigenen Aktionen zu automatisieren.

 

[ice-breaker]

Tolles Argument :noe:
Wenn es gegen die Nutzungsbestimmungen verstößt, ist es egal ob du nur deine eigenen Aktionen automatisierst. Solch ein Bot wird aber mehr Dateien herunterladen als du die Zeit dafür hast und mehr Last für die Server erzeugen.

 

[XHelp]

Man muss ja nicht gleich anfangen die ganze Springerlink-Datenbank runterzuladen.
Ein Programm, welches legal Dateien runterlädt, welche man auch "manuell" legal runterladen könnte ist ja generell nicht verboten.
Wenn z.B. die Anzahl der Downloads beschränkt ist, dann kann man es ja auch im Programm beschränken.

 

[ice-breaker]

Wenn Nutzungsbestimmungen es verbieten sollten, dann ist es verboten, da ist nichts zu rütteln.

Der Anbieter hat ein Hausrecht und kann die Regeln seines Dienstes selbst bestimmen, und wird dies auch tun, denn Bots werden dem System mehr Last erzeugen, als wenn jemand manuell Dateien herunterlädt.

 

[Marco13]

Man könnte ja nachfragen. Ich habe zwar eine Vermutung, wie die Antwort sein wird, aber ... Vermutungen und Spekulationen haben wir hier schon genug, deswegen behalte ich die für mich

 

[XHelp]

Wenn Nutzungsbestimmungen es verbieten sollten, dann ist es verboten, da ist nichts zu rütteln.

Also hier stimme ich dir voll und ganz zu.
Nur nach meiner Vorstellung geht es dabei nicht um einen "Crawler", der sinnlos alles runterzieht, sondern um folgendes:
Bei einigen Verlägen die sowas anbieten (vllt ist es bei Springer auch so) bieten zwar Buch/Zeitschrift komplett zum Download, aber Kapitelweise. Ob ich nun auf jedes einzelne Kapitel manuell klicke und es runterlade, oder ob ich dem Programm sage: "zieh mir bitte dieses Buch komplett". Das Programm "übernimmt" dann für mich die Clicks. (Natürlich ist diese Darstellungs recht abstakt.)

Die Last kann sogar unter Umständen geringer sein, da man die ganzen Bilder nicht ziehen muss.