Problem mit gzip Stream und Ende der Datei

Torti

Neues Mitglied
Hallo,

ich habe ein Problem mit einer GZIP Stream, den ich bekomme. Leider hat der noch einen individuellen Header und Footer. Da werden noch ein paar Daten im XML-Format mit geschickt.

[XML]
<Header>asdadasd</Header>
<Body>HIER KOMMT DANN DIE GZIP DATEI</Body>
<Footer>blabla</Footer>
[/XML]

Nun habe ich mir einen kleinen Code zusammengetippt, der den Anfang der GZIP-Datei identifizieren soll:

Java:
int len;
		byte[] buf = new byte[1];
		Boolean byte1 = false;
		Boolean byte2 = false;

		ByteArrayOutputStream baos = new ByteArrayOutputStream();
		// Anfang des GZip Streams finden, dieser kann eindeutig bestimmt werden
		byte[] startBytes = new byte[] { (byte) 0x1F, (byte) 0x8B };
		while ((len = msg.readBytes(buf)) > 0) {
			if (byte1 && byte2)
				baos.write(buf, 0, len);
			else {
				byte2 = false;

				if (buf[0] == startBytes[0])
					byte1 = true;
				else if (buf[0] == startBytes[1])
					{
byte2 = true;
baos.write(startBytes);	
 }	
				else
					byte1 = false;
			}
		}

Das funktioniert auch soweit ganz gut (wenn jemand ne Idee hat, wie es eleganter gehen könnte, als raus damit!!).

Leider kann ich das Ende der Datei nicht genau bestimmen und so schmiert mir der Code:

Java:
		ByteArrayInputStream bais = new ByteArrayInputStream(baos.toByteArray());

		GZIPInputStream in = new GZIPInputStream(bais);

Immer mit der Meldung ab: "Unexpected end of ZLIB input stream", ist ja auch klar, da hängt ja noch Zeugs dran, dass da net hin gehört 🙁

Hat jemand eine Idee, wie ich das Ende der Datei raus finden kann. Anscheinend gibt es nicht so etwas wie einen fixe Bytefolge, die das Ende bestimmt!
 
Zuletzt bearbeitet:
ein byte[] der Länge 1 bringt nix, dann könntest du auch einfache bytes lesen,
für den Anfang ist das vielleicht auch das günstig, lies zwei ein, schreibe diese mit paars in baos oder auch nicht,
danach beginnt dann erst die Schleife mit einem großen Standard-Array,

das Ende zu finden ist in der Tat nicht leicht, besonders während der Schleife wo sich die End-Information vielleicht
auf zwei Arrays verteilt, dort etwas zu prüfen wäre aufwendig,

bisschen einfacher, mit dem Nachteil der Ineffizienz, aber wohl unerheblich:
alle Daten bis zum Ende laden wie bisher, auch großes Array draus machen wie bisher,
das dann aber jetzt noch untersuchen,
wie genau das Ende festzustellen ist musst du selber entscheiden, an Beispielen anschauen,
ich denke doch mal nach "</body>" suchen bzw. dessen bytes? vielleicht von hinten aus, schneller,
tja, viel ist dazu nicht zu sagen, suchen, finden, kleines Array erstellen, alles umkopieren?

in den GZIP-bytes könnten theoretisch zufällig dieselben bytes sein, das wäre Pech, besonders für einen Browser der vielleicht
nicht so schlau ist von hinten zu suchen,
so werden normalerweise auch gar keine bytes übertragen, wenn ich das richtig in Erinnerung habe,
falls ein WebServer ein Bild oder eine sonstige Datei sendet, dann doch nicht in body-Tags verpackt?
oder die Anzahl Bytes muss bekannt sein, aber jetzt spekuliere ich nur noch 😉
 
Ok, der Tip mit dem Ende des XML-Elemnts war perfekt, so funktionierts. Hab mir die Daten nochmal angeschaut und gesehen, dass die Nutzdaten in einem CData Element verschachtelt waren. Somit habe ich dann die Möglichkeit auf 5 Zeichen ab zu fragen:

"]]></"

Kommen diese 5 Zeichen hintereinander, ist das das Ende des Files. Pferdefuß ist immer noch, dass es natürlich sein könnte, dass diese Zeichenkette auch in den Daten vorkommt, aber ich würde behaupten, das ist recht unwahrscheinlich!!

Wen es interessiert, hier der komplette Code. Muss jetzt nur noch ein wenig schicker gemacht werden ;-) Gerade das mit dem byte-Array der Länge 1 ist tatsächlich ziemlicher Müll, aber historisch bedingt. Muss ich noch umbauen. Ging mir allerdings erst mal um die Funktionalität!

Java:
int len;
		byte[] buf = new byte[1];
		Boolean byte1 = false;
		Boolean byte2 = false;

		ByteArrayOutputStream baos = new ByteArrayOutputStream();
		// Anfang des GZip Streams finden, dieser kann eindeutig bestimmt werden
		byte[] startBytes = new byte[] { (byte) 0x1f, (byte) 0x8b };
		int ende = 0;
		while ((len = msg.readBytes(buf)) > 0) {
			if (byte1 && byte2) {
				// Ende von CData, also 2 mal ']', '>', '<', dann auch Ende des
				// Streams
				if (buf[0] == (byte) 0x5d || buf[0] == (byte) 0x3e
						|| buf[0] == (byte) 0x3c || buf[0] == (byte) 0x2f)
					ende++;
				else
					ende = 0;

				baos.write(buf, 0, len);

				if (ende >= 4) {
					break;
				}
			} else {
				byte2 = false;

				if (buf[0] == startBytes[0])
					byte1 = true;
				else if (buf[0] == startBytes[1]) {
					byte2 = true;
					baos.write(startBytes);
				} else
					byte1 = false;
			}
		}

		byte[] a = baos.toByteArray();
		byte[] b = new byte[a.length - ende];
		System.arraycopy(a, 0, b, 0, a.length - ende);

		ByteArrayInputStream bais = new ByteArrayInputStream(b);

		GZIPInputStream in = new GZIPInputStream(bais);
 

Neue Themen


Zurück
Oben