Webseite wird nicht immer komplett ausgelesen

[develman]

Hallo,

ich schreibe ein Programm, welches Daten von Webseiten auswertet. Dazu möchte ich zuerst den Quellcode kopieren. Da kommen wir auch zu meinem Problem. Der folgende Code hat bei großen Seiten das Problem, dass er nicht immer die ganze Seite kopiert. Ich erkenne keine Struktur wann der Fehler auftaucht. Wenn ich die gleiche Seite 5 mal kopiere, so ist sie 2 mal komplett und 3 mal zur hälfte kopiert (immer an der gleichen Stelle).

public class Reader 
{
	public Reader(String url, String dateiname)
	{	
		try
		{
			URL seite = new URL(url);
			
			HttpURLConnection conn = (HttpURLConnection)seite.openConnection();
			conn.setRequestProperty("User-Agent", "");
			
			BufferedReader in = new BufferedReader(new InputStreamReader(conn.getInputStream(), "UTF-8"));
			
			String inputLine;			
			PrintWriter pw = new PrintWriter(dateiname);
			
			while((inputLine = in.readLine()) != null)
			{
//				System.out.println(inputLine);
				pw.println(inputLine);
			}
			
			in.close();
			pw.close();
			conn.disconnect();
		}
		catch (MalformedURLException me) 
		{
			System.out.println(me);
		} 
		catch (IOException e) 
		{
			System.out.println(e);
		}
	}
}

Ich bedanke mich schon im Voraus für eventuelle Hilfe oder Vorschläge.

 

[SlaterB]

wie sieht es denn mit Zeile 19 aus, hast du getestet mit Ausgabe eingeschaltet?
kommt tatsächlich nach der Hälfte null aus in oder wird immer alles komplett eingelesen, nur die Weitergabe nach pw hat einen Fehler
(auch wenn das vom Code her nicht zu erkennen ist)?

 

[ARadauer]

Mhn meiner Meinung nach sieht der Code gut aus. Passiert das nur bei einer Seite oder bei unterschiedlichen?

Habs jetzt mal getestet, bei mir funktionierts perfekt.

 

[develman]

Danke für den Tip...meine Erkenntnis ist, dass es jedes mal bis zum Ende speichert, allerdings sehr breite Zeilen (manchmal mehr als 20000 Zeichen) nicht komplett übernimmt. Da kürzt bzw. bricht es manchmal mitten in der Zeile ab und "vergisst" deb Rest der Zeile. Kann mir jemand erklären warum?

Zur Erklärung warum ich solch lange Zeilen habe: Ich benutze eine Suchfunktion von einer Seite im Netz die das Ergebnis in einer Zeile zurückgibt. Bei vielen Treffern kommen halt so lange Zeilen zustande.

 

[develman]

Ich muss mich leider nochmal verbessern. Sry für den Doppelpost.

Also Zeile 19 geht durch bis zum Schluss. Da gibts keine Probleme. Allerdings in der Datei bricht er ab, wenn er manchmal diese Monsterzeilen nicht packt.

So müsste das Problem beim Printwriter liegen. Hätte da jemand eine Idee?

MfG

Develman

 

[SlaterB]

direkt fällt mir nichts ein, hab im Moment auch keine IDE um im PrintWriter-Sourcecode nach Besonderheiten zu schauen,
ein flush() vorm close() wird nicht helfen, oder?

PrintWriter ist in jedem Fall nicht der neueste Stand der Technik, wie man an den Klassennamen erkennen kann wäre die saubere Variante
FileOutputStream, OutputStreamWriter, BufferedWriter und ähnliches

oder noch energischer den Code umstellen: du musst doch sowieso nicht als Reader einlesen und als Writer schreiben?
bleibe bei Streams, keine Interpretation mit Encoding, die reinen bytes lesen und 1:1 auf die Festplatte schreiben,
lies byte[] von z.B. 8192 bytes, dann sollte die Zeilenlänge keinen Einfluss haben, BufferedInputStream muss auch nicht sein

sobald die Datei gesichert auf der Platte liegt kannst du sie immer noch neu einlesen und neu speichern wenn nötig

 

[ARadauer]

Interessant, wie lange ist so eine Monster Zeile oder hast du ein Beispiel für eine Webseite, wo es nicht geht?
Das könnte man einfach mal die java api debuggen

 

[develman]

Danke euch Beiden! Wie es aussieht habe ich das Problem gelöst. Zumindest ist es bisher nicht wieder erschienen.

Ich habe wie oben empfohlen den Printwriter ersetzt. Meine "neue" Schreibmethode sieht wie folgt aus:

		BufferedWriter bout = new  BufferedWriter(new OutputStreamWriter(new FileOutputStream("temp/" + dateiname)));
		while((inputLine = in.readLine()) != null)
			{
//				System.out.println(inputLine);
				bout.write(inputLine + "\n");
			}

Ich bedanke mich nochmals herzlich für eure schnelle Hilfe und frage an dieser Stelle:
Woran hätte ich erkennen können, dass der PrintWriter nicht der neuste Stand der Technik ist?

MfG

Develman

 

[SlaterB]

an einem Lehrbuch zum Thema oder einer sonstigen Übersicht der Klassen,
Input/Output-Stream + Writer/ Reader unterscheidet zwischen Bytes und Chars,
der Wortbestandteil davor könnte File, Buffered oder sonstiges sein,

'Print' steht außerhalb des Konzeptes, ist eine alte Vorversion, wobei in der neueren Implementierung nur der Name beibehalten werden muss, intern passiert weitgehend das gleiche,

vergleichbar mit Vector/ ArrayList,
ich wollte eigentlich nur Alter der Klasse betonen, hab nicht erwartet dass du das siehst, falls du dich das fragst

 

[develman]

Ok, dann sollte ich ab sofort mehr auf sowas achten.

MfG

develman

 

[Unregistrierter]

an einem Lehrbuch zum Thema oder einer sonstigen Übersicht der Klassen,
Input/Output-Stream + Writer/ Reader unterscheidet zwischen Bytes und Chars,
der Wortbestandteil davor könnte File, Buffered oder sonstiges sein,

'Print' steht außerhalb des Konzeptes, ist eine alte Vorversion, wobei in der neueren Implementierung nur der Name beibehalten werden muss, intern passiert weitgehend das gleiche,

vergleichbar mit Vector/ ArrayList,
ich wollte eigentlich nur Alter der Klasse betonen, hab nicht erwartet dass du das siehst, falls du dich das fragst

... gerade du als Moderator solltest es vielleicht lassen so einen Unsinn zu verbreiten, da das Leute evtl. für wahr nehmen was du da redest ...

 

[ARadauer]

Was genau war daran jetzt Untsinn?