Daten aus Website auslesen

[Zapp_Branigan]

Ich würde gerne ein kleines Programm schreiben, dass dabei hilft komplette eBooks aus dem SpringerLink herunter zu laden nachdem unsere Bib einen Zugang gekauft hat.
Leider zerteilt Springer die eBooks in viele kleine Teile was es sehr aufwendig macht ein komplettes Buch herunterzuladen.
Beispiel: SpringerLink - Book

Mein erstes Problem ist gleich, dass ich es nicht schaffe die Seite überhaupt herunterzuladen.

Und danach schließt sich an, dass ich nicht weiß wie ich den HTML-Code auf bestimmte daten wie links oder den Buchtitel etc. durchsuchen kann. Irgendwie sowas wie zwischen „<h2 class="MPReader_Profiles_SpringerLink_Content_PrimitiveHeadingControlName">“ und „</h2>“ steht der Buchtitel aber bei den ganzen / dreht Java ja total durch... wie umgeht man dann sowas?

Ich bin überzeugt ihr könnt mir wie immer helfen

 

[Onnur]

Reguläre Ausdrücke wäre ein Stichwort was dich weiterbringen sollte.

 

[Zapp_Branigan]

Danke schon mal für den Hinweis werde ich mir anschauen, aber das Problem mit dem Abruf des Quellcodes der Seite als String ist ja noch offen...

 

[Onnur]

BufferedReader, InputStreamReader und dann solange bis readLine null liefert auslesen bzw. anhängen.

 

[Murray]

Oder auch mit dem HTTPClient

 

[ARadauer]

oder mit hilfe von jtidy aus dem string einen dom baum erzeugen lassen und mit zb jdom darin navigieren...

 

[Zapp_Branigan]

Könnt ihr mir da einen Beispielcode posten der bei der genannten Adresse funktioniert. Ich hatte schon mal folgendes probiert:

URL url = new URL("http://www.springerlink.com");
		    	//URL url = new URL("http://www.spiegel.de");
		        URLConnection connection = url.openConnection( );
		        InputStream is = connection.getInputStream( );
		        InputStreamReader isr = new InputStreamReader(is);
		        
		        BufferedReader br = new BufferedReader(isr);
		 
		        HTMLEditorKit htmlKit = new HTMLEditorKit( );
		        HTMLDocument htmlDoc = (HTMLDocument) htmlKit.createDefaultDocument( );
		        HTMLEditorKit.Parser parser = new ParserDelegator( );
		        HTMLEditorKit.ParserCallback callback = htmlDoc.getReader(0);
		        parser.parse(br, callback, true);

Geht aus irgendeinem Grund nicht sondern produziert eine Fehlermeldung. Bei Spiegel gehts. Ich habe keine Ahnugn woran das liegen kann...

Hier die Fehlermeldung:
java.io.IOException: Server returned HTTP response code: 403 for URL: SpringerLink Home - Main
at sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1313)
at SPLD.main(SPLD.java:318)

Im Browser geht es natürlich und Spiegel.de geht auch.

 

[Zapp_Branigan]

Kann man das hier vielleicht ins normale JAVA-Unterforum verschieben... ist vielleicht doch keine totale Anfängerfrage...

 

[madboy]

HTTP 403 bedeuteut, dass der Server dir nicht erlaubt, die Daten zu lesen. Musst dich also authentifizieren. Meistens mittels Cookie, welcher bei der Anmeldung gesetzt wird. Spätestens jetzt würde ich dir raten, den Post bzw. den Link von Murray auf HTTPClient anzuschauen.

EDIT: ich denke, den Thread kann man ruhig im Anfängerforum lassen (google nach der Fehlermeldung hätte dir das mit der Authentifizierung auch gesagt) ;-)

EDIT nochmal: SpringerLink Home - Main leitet im Browser automatisch nach SpringerLink Home - Main um. Ersteres ist verboten, zweiteres lässt sich auch ohne Anmeldung lesen. Siehe auch HTTPClient, der kann automatische redirects.

 

[Zapp_Branigan]

Also mit dem Tipp von Murray habe ich es wirklich hinbekommen die Seite abzurufen. Danke hierfür!

 

[Murray]

EDIT nochmal: SpringerLink Home - Main leitet im Browser automatisch nach SpringerLink Home - Main um. Ersteres ist verboten, zweiteres lässt sich auch ohne Anmeldung lesen.

Das müsstest du nochmal etwas genauer ausführen - was genau ist warum verboten?

 

[Empire Phoenix]

Nur am rande, oben rechts auf der site ist son mini button download this list..
Mangels anmeldedaten kann ichs nicht testen, aber downloaded der net dan alle?

 

[Zapp_Branigan]

Ne der bietet einem dann nur an die Liste von Dokumenten als Excel oder txt herunterzuladen...

 

[Zapp_Branigan]

Ich kämpfe gerade bisschen mit den Regulären ausdrücken. Habe mich versucht mich in der JavaInsel schlau zu lesen aber irgendwie bin ich zu doof.
Wie bekomme ich aus folgendem Beispiel das Ergebnis String s = "java-tutor.com\"

p = Pattern.compile( "<a href=.*>" ); 
Matcher m = p.matcher( "<a href=\"java-tutor.com\">" );

 

[madboy]

Das müsstest du nochmal etwas genauer ausführen - was genau ist warum verboten?

Mit "verboten" meinte ich, dass ein Zugriff auf htt p://springerlink.com in einem HTTP 403 (forbidden) resultiert. Hat man automatische redirects aktiviert (wie im Browser oder mittels HTTPClient einstellbar), dann wird nach htt p://springerlink.com/home/main.mpx weiter geleitet, was kein 403 zur Folge hat.

 

[madboy]

Ich kämpfe gerade bisschen mit den Regulären ausdrücken. Habe mich versucht mich in der JavaInsel schlau zu lesen aber irgendwie bin ich zu doof.
Wie bekomme ich aus folgendem Beispiel das Ergebnis String s = "java-tutor.com\"

p = Pattern.compile( "<a href=.*>" ); 
Matcher m = p.matcher( "<a href=\"java-tutor.com\">" );

Schau dir mal capturing groups an. Beispiel (evtl. nicht korrekt, nur kurz aus dem Kopf):

p = Pattern.compile( "<a href=(.*)>" ); 
Matcher m = p.matcher( "<a href=\"java-tutor.com\">" );
matcher.find();
String s = matcher.group(1); //Vorsicht, group(0) bedeutet kompletten Input oder ähnlich, daher group(1)

 

[Zapp_Branigan]

Danke für die schnelle Antwort. Ich habe das ganze mal als:

Pattern p = Pattern.compile( "<a href=.*>" ); 
		Matcher m = p.matcher( "<a href=\"java-tutor.com\">" ); 
		
		m.find();
		String s = m.group(1);

interpretiert... aber es kommt "Exception in thread "main" java.lang.IndexOutOfBoundsException: No group 1"

:-(

 

[madboy]

Du musst auch eine Gruppe definieren ;-)
Mit "normalen" Klammern, also (). Schau noch Mal genau auf meinen geposteten Code bei Pattern.compile