Problem mit gzip Stream und Ende der Datei

Torti

Neues Mitglied
Hallo,

ich habe ein Problem mit einer GZIP Stream, den ich bekomme. Leider hat der noch einen individuellen Header und Footer. Da werden noch ein paar Daten im XML-Format mit geschickt.

[XML]
<Header>asdadasd</Header>
<Body>HIER KOMMT DANN DIE GZIP DATEI</Body>
<Footer>blabla</Footer>
[/XML]

Nun habe ich mir einen kleinen Code zusammengetippt, der den Anfang der GZIP-Datei identifizieren soll:

Java:
int len;
		byte[] buf = new byte[1];
		Boolean byte1 = false;
		Boolean byte2 = false;

		ByteArrayOutputStream baos = new ByteArrayOutputStream();
		// Anfang des GZip Streams finden, dieser kann eindeutig bestimmt werden
		byte[] startBytes = new byte[] { (byte) 0x1F, (byte) 0x8B };
		while ((len = msg.readBytes(buf)) > 0) {
			if (byte1 && byte2)
				baos.write(buf, 0, len);
			else {
				byte2 = false;

				if (buf[0] == startBytes[0])
					byte1 = true;
				else if (buf[0] == startBytes[1])
					{
byte2 = true;
baos.write(startBytes);	
 }	
				else
					byte1 = false;
			}
		}

Das funktioniert auch soweit ganz gut (wenn jemand ne Idee hat, wie es eleganter gehen könnte, als raus damit!!).

Leider kann ich das Ende der Datei nicht genau bestimmen und so schmiert mir der Code:

Java:
		ByteArrayInputStream bais = new ByteArrayInputStream(baos.toByteArray());

		GZIPInputStream in = new GZIPInputStream(bais);

Immer mit der Meldung ab: "Unexpected end of ZLIB input stream", ist ja auch klar, da hängt ja noch Zeugs dran, dass da net hin gehört :(

Hat jemand eine Idee, wie ich das Ende der Datei raus finden kann. Anscheinend gibt es nicht so etwas wie einen fixe Bytefolge, die das Ende bestimmt!
 
Zuletzt bearbeitet:
S

SlaterB

Gast
ein byte[] der Länge 1 bringt nix, dann könntest du auch einfache bytes lesen,
für den Anfang ist das vielleicht auch das günstig, lies zwei ein, schreibe diese mit paars in baos oder auch nicht,
danach beginnt dann erst die Schleife mit einem großen Standard-Array,

das Ende zu finden ist in der Tat nicht leicht, besonders während der Schleife wo sich die End-Information vielleicht
auf zwei Arrays verteilt, dort etwas zu prüfen wäre aufwendig,

bisschen einfacher, mit dem Nachteil der Ineffizienz, aber wohl unerheblich:
alle Daten bis zum Ende laden wie bisher, auch großes Array draus machen wie bisher,
das dann aber jetzt noch untersuchen,
wie genau das Ende festzustellen ist musst du selber entscheiden, an Beispielen anschauen,
ich denke doch mal nach "</body>" suchen bzw. dessen bytes? vielleicht von hinten aus, schneller,
tja, viel ist dazu nicht zu sagen, suchen, finden, kleines Array erstellen, alles umkopieren?

in den GZIP-bytes könnten theoretisch zufällig dieselben bytes sein, das wäre Pech, besonders für einen Browser der vielleicht
nicht so schlau ist von hinten zu suchen,
so werden normalerweise auch gar keine bytes übertragen, wenn ich das richtig in Erinnerung habe,
falls ein WebServer ein Bild oder eine sonstige Datei sendet, dann doch nicht in body-Tags verpackt?
oder die Anzahl Bytes muss bekannt sein, aber jetzt spekuliere ich nur noch ;)
 

Torti

Neues Mitglied
Ok, der Tip mit dem Ende des XML-Elemnts war perfekt, so funktionierts. Hab mir die Daten nochmal angeschaut und gesehen, dass die Nutzdaten in einem CData Element verschachtelt waren. Somit habe ich dann die Möglichkeit auf 5 Zeichen ab zu fragen:

"]]></"

Kommen diese 5 Zeichen hintereinander, ist das das Ende des Files. Pferdefuß ist immer noch, dass es natürlich sein könnte, dass diese Zeichenkette auch in den Daten vorkommt, aber ich würde behaupten, das ist recht unwahrscheinlich!!

Wen es interessiert, hier der komplette Code. Muss jetzt nur noch ein wenig schicker gemacht werden ;-) Gerade das mit dem byte-Array der Länge 1 ist tatsächlich ziemlicher Müll, aber historisch bedingt. Muss ich noch umbauen. Ging mir allerdings erst mal um die Funktionalität!

Java:
int len;
		byte[] buf = new byte[1];
		Boolean byte1 = false;
		Boolean byte2 = false;

		ByteArrayOutputStream baos = new ByteArrayOutputStream();
		// Anfang des GZip Streams finden, dieser kann eindeutig bestimmt werden
		byte[] startBytes = new byte[] { (byte) 0x1f, (byte) 0x8b };
		int ende = 0;
		while ((len = msg.readBytes(buf)) > 0) {
			if (byte1 && byte2) {
				// Ende von CData, also 2 mal ']', '>', '<', dann auch Ende des
				// Streams
				if (buf[0] == (byte) 0x5d || buf[0] == (byte) 0x3e
						|| buf[0] == (byte) 0x3c || buf[0] == (byte) 0x2f)
					ende++;
				else
					ende = 0;

				baos.write(buf, 0, len);

				if (ende >= 4) {
					break;
				}
			} else {
				byte2 = false;

				if (buf[0] == startBytes[0])
					byte1 = true;
				else if (buf[0] == startBytes[1]) {
					byte2 = true;
					baos.write(startBytes);
				} else
					byte1 = false;
			}
		}

		byte[] a = baos.toByteArray();
		byte[] b = new byte[a.length - ende];
		System.arraycopy(a, 0, b, 0, a.length - ende);

		ByteArrayInputStream bais = new ByteArrayInputStream(b);

		GZIPInputStream in = new GZIPInputStream(bais);
 
Ähnliche Java Themen
  Titel Forum Antworten Datum
krgewb Problem mit Umlauten und Eszett bei InputStream Allgemeine Java-Themen 3
Max246Sch Backtracking Problem Box Filler Allgemeine Java-Themen 6
NightVision402 VisualVM Startskript Problem Allgemeine Java-Themen 3
javaBoon86 Email Server Connection Problem Allgemeine Java-Themen 1
F Problem mit PDFBOX Library Allgemeine Java-Themen 1
A Java modul Problem Allgemeine Java-Themen 4
D Read JSON File Problem Allgemeine Java-Themen 9
urmelausdemeis Exception in thread "main" java.lang.Error: Unresolved compilation problem: Allgemeine Java-Themen 7
J Problem mit JasperReports Allgemeine Java-Themen 8
M log4j Problem mit jlink Allgemeine Java-Themen 19
8u3631984 Problem beim Mocken von Record Klassen Allgemeine Java-Themen 4
torresbig Website login Problem - Jsoup, wie bisher, klappt nicht! Allgemeine Java-Themen 31
P Selenium . getText Problem Allgemeine Java-Themen 9
A Jar zu Exe Problem Allgemeine Java-Themen 13
sserio Variablen Liste erstellt und ein Problem mit dem Index Allgemeine Java-Themen 6
S Folgendes Problem bei einem Programm Allgemeine Java-Themen 1
stormyark Problem beim Klassen erstellen Allgemeine Java-Themen 1
A Thread.sleep Problem Allgemeine Java-Themen 2
A Problem bei der Nachbarschafttest Allgemeine Java-Themen 11
Splayfer Problem: no main manifest attribute Allgemeine Java-Themen 3
G javamail Problem beim Empfangen von Nachrichten Allgemeine Java-Themen 3
Splayfer JDA Problem mit MessageCounter Allgemeine Java-Themen 0
Splayfer Problem mit BufferedWriter Allgemeine Java-Themen 3
F Streams als Alternative für dieses Problem ? Allgemeine Java-Themen 15
N Maven Problem mit Datenbanktreiber (H2 Embedded) Allgemeine Java-Themen 12
T Problem beim Umwandeln in eine Jar-Datei Allgemeine Java-Themen 3
B Einfach Elemente zweier Arraylisten kreuz und quer vergleichen, min und max Problem? Allgemeine Java-Themen 16
C ArrayList Problem Allgemeine Java-Themen 3
kev34 nim-Spiel problem Allgemeine Java-Themen 1
D Firebase retrieve data Problem, Child Element wird nicht angesprochen Allgemeine Java-Themen 0
G Welches Problem besteht bei den Typparametern? Allgemeine Java-Themen 5
temi Problem mit Aufrufreihenfolge bei Vererbung Allgemeine Java-Themen 3
Sumo_ow "ArrayIndexOutofBoundsException: 2" Array Problem Allgemeine Java-Themen 6
T PIM basierend auf netbeans via AnyDesk Problem Allgemeine Java-Themen 3
xGh0st2014 Problem mit Java Array Allgemeine Java-Themen 1
Kirby.exe Verständnis Problem bei Rucksack Problem Allgemeine Java-Themen 6
B Eclipse-Lombok-Problem Allgemeine Java-Themen 19
I Input/Output ObjectOutputStream - Problem Allgemeine Java-Themen 7
1 Multiple Choice Knapsack- Problem Allgemeine Java-Themen 2
kodela Problem mit strukturiertem Array Allgemeine Java-Themen 18
E Problem mit Gridlayout und Button Allgemeine Java-Themen 2
A Array Problem Allgemeine Java-Themen 8
bueseb84 Problem Allgemeine Java-Themen 0
S Problem mit Arrays Allgemeine Java-Themen 1
D Nullpointer Exception Problem Allgemeine Java-Themen 5
B Problem mit meinen Klassen Allgemeine Java-Themen 6
A HashMap Methode "get()"-Problem Allgemeine Java-Themen 28
J Problem beim Umstellen auf Java jdk 13 Allgemeine Java-Themen 3
J Problem bei Install java 13 Allgemeine Java-Themen 3
X Profitable Reise Problem Allgemeine Java-Themen 32
A Problem beim öffnen von Java-Installern Allgemeine Java-Themen 1
Dann07 Problem mit JavaMail API Allgemeine Java-Themen 26
J Problem beim Generischen Klassen und Interfaces Allgemeine Java-Themen 2
L Klassen Algorithmus für das folgende Problem entwickeln? Allgemeine Java-Themen 30
J Clear-Problem Allgemeine Java-Themen 10
B Problem zu einem Java Projekt Allgemeine Java-Themen 6
S JFileChooser Problem Allgemeine Java-Themen 4
M Traveling Salesman - MST Heuristik Problem Allgemeine Java-Themen 4
J Traveling Salesman Problem Allgemeine Java-Themen 14
E Java Editor Problem mit 2er Exceptions Allgemeine Java-Themen 12
C code oder Bibliotheken für 2-Center Problem Allgemeine Java-Themen 4
M Salesman Problem - Bruteforce Algorithmus Allgemeine Java-Themen 23
S Methoden Problem mit NullPointerException Allgemeine Java-Themen 9
Javafan02 Problem mit if-clause Allgemeine Java-Themen 17
J Lombok Problem mit Konstruktoren bei Verberbung Allgemeine Java-Themen 1
kodela Event Handling Problem mit der Alt-Taste Allgemeine Java-Themen 16
W Threads Problem Allgemeine Java-Themen 15
D (Verständnis-)Problem mit Unterklasse Allgemeine Java-Themen 4
S Problem mit Generic bei unmodifiableCollection Allgemeine Java-Themen 4
S jserialcomm Problem Allgemeine Java-Themen 1
Flynn Thread-Problem... Allgemeine Java-Themen 2
J Generische Interface - Problem Allgemeine Java-Themen 3
G Problem beim GUI Allgemeine Java-Themen 9
L Applet Problem "security: Trusted libraries list file not found" ? Allgemeine Java-Themen 7
A OOP Problem beim Berechnen der größten Fläche eines Ringes Allgemeine Java-Themen 19
T Problem mit externen Datenbankzugriff über SSH Tunnel Allgemeine Java-Themen 4
F Problem beim Einlesen einer Textdatei Allgemeine Java-Themen 12
S Java OpenOffice Problem mit Windows-Benutzerwechsel Allgemeine Java-Themen 19
K Threads RAM Problem Allgemeine Java-Themen 20
P Operatoren Problem mit Zähler in recursiver Schleife Allgemeine Java-Themen 2
C Int Problem Allgemeine Java-Themen 8
C J2V8 NodeJs Java Bride Problem und Frage!?!? Allgemeine Java-Themen 1
J Problem bei Hashmap Key-Abfrage Allgemeine Java-Themen 4
C Webseiten Programm problem Allgemeine Java-Themen 5
M LocalDate Problem Allgemeine Java-Themen 4
J "Problem Objektorientierung" Allgemeine Java-Themen 20
geekex Problem Meldung! Was tun?! Allgemeine Java-Themen 19
T Klassen Override Problem Allgemeine Java-Themen 7
L Unbekanntes Problem Allgemeine Java-Themen 1
FrittenFritze Problem mit einer JComboBox, Event temporär deaktivieren Allgemeine Java-Themen 11
Blender3D Java Swing Programm Windows 10 Autostart Problem Allgemeine Java-Themen 2
F HTTPS Zertifikat Problem Allgemeine Java-Themen 3
M OpenCV KNearest Problem Allgemeine Java-Themen 0
Tommy Nightmare Project Euler: Problem 22 Allgemeine Java-Themen 2
C Abstrakte Klasse, lokale Variable-Problem Allgemeine Java-Themen 1
N Vererbung Design-Problem mit vorhandenen, von der Klasse unabhängigen Methoden Allgemeine Java-Themen 12
P Eclipse Projekt anlegen macht Problem Allgemeine Java-Themen 1
RalleYTN META-INF/services Problem Allgemeine Java-Themen 3
F Java Mail Problem: Authentifizierung wird nicht immer mitgeschickt Allgemeine Java-Themen 1
I Problem beim Aufrufen, von Objektmethoden/ -variablen Allgemeine Java-Themen 6

Ähnliche Java Themen

Neue Themen


Oben