URL einlesen -> Daten sind nicht vollständig bzw. korrekt

[nEp]

Hallo,

ich lese via folgendem einfachen Konstrukt eine HTML-Datei von einer URL (übers Netzwerk ein):

     String url = "http://..."; //URL zur HTML-Datei
     java.net.URL target = new java.net.URL(url);
     BufferedReader reader = new BufferedReader(new InputStreamReader(new BufferedInputStream(target.openStream())));
			
     char[] buffer = new char[2096]; //far enough for reading meta data
     reader.read(buffer);
     String htmlString = new String(buffer);

     //Extrahiere bestimmte Informationen aus dem String....

Das klappt so auch erst mal, nur scheinen oft nicht alle 2096 chars eingelesen zu werden, obwohl es da weitaus mehr gibt. Im HTML-String sieht es dann halt entsprechend aus, dass dieser eben mit ungültigen Zeichen gespickt ist.
Das muss ja aber irgendeinen Grund haben, denn wie gesagt, die Dateien die ich einlese sind wesentlich größer als 2096 Bytes. Den BufferedReader erstelle ich bei jedem einlesen neu. Was mache ich da falsch? Muss man da noch irgendwas berücksichtigen bzw. kann es sein, dass das auch mit verschiedenen Zeichensätzen zu Problemen kommen kann?

P.S. Ich weiß dass man so eine Datei auch einfach Zeile für Zeile direkt in Strings einlesen kann, ich möchte aber stattdessen eben direkt eine gewisse Zahl an Bytes einlesen.

 

[SlaterB]

funktioniert es wenn du die Datei über FileReader einliest?
wenn nicht, dann poste doch bitte das entsprechende vollständige Test-Programm und eine Test-Datei

 

[nEp]

Ich kann mich jetzt auch irren, aber wenn ich von einer URL lese kann ich doch keinen FileReader nutzen?! Kann zwar ein URI-Objekt erzeugen und da meine Url angeben, aber der FileReader unterstützt ja nur URIs die mit "file:..." anfangen. Ist zumindest im JDK 1.4.2 so, dass ich (leider) benutzen muss (hätte ich wohl vorher erwähnen sollen).
Wie gesagt ich lese eine HTML-Datei übers Netz ein.

Der Code hier ist eigentlich das Program, davor ist nur ein wenig Code um den URL-String zusammenzubauen und danach etwaige Extrahier-Funktionen die aber ja gar nicht mehr relevant sind (und Exception-Handling natürlich).
Via Logging weiß ich, dass es am Einlesen in das char-Array quasi schon "scheitert", denn hier werden eben manchmal nicht alle 2096 Zeichen eingelesen (sondern z.B. nur 1200). Gibts da irgendwelche Fallstricke was man da evtl. noch beachten muss? Sieht fast so aus, als ob der Reader während des Lesens irgendwann (fälschlicherweise) zum Schluss kommt, dass schon das Dateieende erreicht ist...

 

[SlaterB]

ist das Thema fälschlicherweise als 'Erledigt' markiert?

-------

ich meine, das du dir eine der fraglichen HTML-Dateien auf anderem Wege besorgen sollst,
ins Dateisystem schreiben sollst,
und dann mit
new FileReader("C:/Temp/datei.html");
BufferedReader usw. darauf zugreifen sollst, ein Programm ganz ohne URL,

 

[nEp]

Ups ja bin da aus Versehen auf den Button gekommen.

Ja wenn ich es direkt aus dem Filesystem lese geht es problemlos, wobei ich da auch nichts anderes erwartet hatte... irgendwas muss da im Argen sein wenn ichs via URL lese....

 

[ARadauer]

URL url = new URL("http://www.java-forum.org");
		
		InputStream is =  url.openConnection().getInputStream();
		BufferedReader reader = new BufferedReader(new InputStreamReader(is));
		try {
			
			String line = null;
			while((line=reader.readLine())!=null){
				System.out.println(line);
			}
		}finally{
			reader.close();
		}

versuch das

yeah über 3000 Beiträge ;-)

 

[SlaterB]

hmm mist, was anderes fällt mir nämlich nicht ein,
irgendwo aus dem Netzwerk irgendwo eine Datei, das ist so nebulös

vielleicht liegt es am Inhalt, am Encoding, teste einfachere Text-Dateien, nur mit Nullen gefüllt oder so,

schau dir den Inhalt des Arrays und den String exakt ein,
selbst wenn das Array nicht komplett befüllt ist, müsste der String 2096 Zeichen lang sein,
vielleicht enthält er nicht-darstellbare Zeichen

edit:
> Im HTML-String sieht es dann halt entsprechend aus, dass dieser eben mit ungültigen Zeichen gespickt ist.
ok, hast du schon

 

[nEp]

Ja also ich glaube auch dass das was spezielles ist was eben mit dem Zugriff übers Netz zu tun hat, es ist ja sogar so, dass es bei ein und derselben Datei manchmal klappt und manchmal nicht (d.h. zu wenig Bytes gelesen werden). Wobei mir da jetzt grad erst einfällt (ARG!), dass es eigentlich gar keine HTML-Dateien sind die ich lese, sondern JSP-Dateien... vielleicht hängt es damit zusammen? (Die werden ja quasi erst verarbeitet aufm Server). Aber ich würde halt erwarten, dass wenn ich so eine Datei im Browser anfordere und mir den resultierenden HTML-Quellcode in Notepad anschaue, es doch genauso möglich sein sollte dass dann via Java-Code auszulesen... (da ist nix besonderes dran)... vor allem verstehe ich halt nicht warum manchmal weniger Bytes gelesen werden als erwartet...

Also es wird bestimmt mit dem Code hier zusammenhängen, dass der so nicht korrekt ist... es ist nur die Frage was ich da anders machen muss? Evtl. muss ich den anpassen weil es sich um JSPs handelt?

@ARadauer: Ich denke auch dass das mit dem zeilenweisen Einlesen von Strings klappen würde, da das auch so in nem offiziellen Tutorial von Sun mal gemacht wurde, aber eigtl würde ich lieber einen char-Array erst mal einlesen... naja wenn ich sonst keine Lösung mehr finde, werd ich es mal so versuchen.

 

[SlaterB]

es kann sein, dass nicht alle bytes sofort verfügbar sein, da schreibt man normalerweise eine Schleife

while(reader.availabe()) {
int anzahlBytes = read(byteArray)
kopiere die richtige Anzahl Bytes woanders hin
}

so in der Art

oder mehrmals read() aufrufen, bis der Rückgabewert -1 ist (Ende des Streams)
Java ist auch eine Insel – 12.4 Binäre Ein-/Ausgabe-Klassen InputStream und OutputStream
Listing 12.10 FileCopy.java

 

[nEp]

Danke SalterB! Genau das schien das Problem zu sein, denn nun funktioniert es einwandfrei.
Da wär ich alleine wohl nicht so schnell draufgekommen, obwohl ich eigentlich nur mal in die Javadocs hätte schauen müssen, so gesehen sry für den Thread