Java - einlesen von Dateien und herausschneiden von XML Dokumenten

[Breas]

Hallöchen,

ich bin mal wieder auf ein Problemchen bei meiner Arbeit getroffen das sich leider etwas schwieriger lösen lässt ( befürchte ich ).

Kurze Beschreibung : Ich lese Dateien ein mit einem BufferedReader ( mehrere 100 MB ). Splitte ( mit regex ) die Zeilen in mehrere Einzelsegmente um diese auswerten zu können. Nach dem splitten werden die Ergebnisse in listen eingepackt, zur späteren Verarbeitung.

Um in diesen Zeilen etwas zu finden verwende ich einen matcher, was auch wunderbar funktioniert. Leerzeilen filtere ich mit einem Iterator heraus.

Und nun zu dem Problem, inmitten dieser Dateien tauchen urplötzlich komplette xml Dokumente auf, diese erstrecken sich über mehrere Zeilen. Die erste Zeile beginnt ja mit " <?XML.... ". Diese herauszufiltern ist kein Problem, aber ich möchte alles was zu diesem XML Dokument gehört nicht haben. Ich hatte gehofft das man dem Matcher irgendwie verschiedene Anweisungen mitgeben kann, habe aber dazu leider nichts gefunden. Denn das nächste Problem ist das die Suchbegriffe die ich haben möchte ( also die Zeilen in denen diese vorkommen ) auch in dem XML Dokument vorkommen können, was dann inmitten des Dokumentes für den Matcher ja einen "Treffer" bedeuten würde.

Optimal wäre wenn man dem Reader etwas mitgeben könnte bei dessen auftauchen er das einlesen stoppt und erst beim auftauchen der 2ten Zeichenfolge weiter einliest ( z.B. Stopp bei <?XML Weiter ab ENDE Dokument ).

Ich hoffe das ihr mir da weiterhelfen könnt.

Grüße Breas

 

[eMmiE]

Kannst du da auch nicht einfach drüber iterieren und ab "<?XML" bis "?>" den Teil einfach rauscutten?
Wenn du das einfach machst bevor du mit dem Matcher das Dokument bearbeitest, dann taucht das ja gar nicht auf
(Ich weiß nicht genau, was du mit den Listen meinst, aber es ist vllt notwendig, das cutten auch davor zu machen)

Gruß eMmiE

 

[Breas]

Hallo eMmiE,

vielen Dank für den Tipp, das werde ich auch so machen. Bevor die Ergebnisse gespeichert werden.

Grüße Breas

 

[arilou]

Kannst du da auch nicht einfach drüber iterieren und ab "<?XML" bis "?>" den Teil einfach rauscutten?

Er will wohl das gesamte eingebettete Xml-Dokument überspringen, nicht nur dessen Kopfzeile. Leider geht das nur zuverlässig, wenn er es tatsächlich parst - und einen Xml-Parser selbst zu schreiben - puh!
Halbwegs passabel könnte funktionieren, das erste Tag nach <?XML ... ?> auszulesen, und so lange zu "überspringen", bis man das (hoffentlich) zugehörige schließende Tag </...> findet.

Um das "(hoffentlich)" auch noch auszuschließen, muss man das Xml-Dokument leider komplett parsen.

 

[eMmiE]

Sry, ich dachte da gibt es sowas, wie ein schließendes Tag

Müssen eigentlich die XML - Deklarationen nacheinander sein, oder können die einfach überall im Gesamtdokument auftauchen?

Aber wenn du das erste Tag einliest und den Titel (<element> -> "element") speicherst, dann ist es doch kein Problem, das zugehörige "</"+titel+">" zu finden, und den Teil rauszuschneiden

Gruß eMmiE

 

[Breas]

Hallo zusammen,

sorry das ich erst jetzt antworte. Ja ich wollte das komplette XML Dokument entfernen da es hinderlich bei "zerlegen" der Einzelteile einer Zeile.

Es handelt sich um riesige Datenmengen von mehreren 100.000 Zeilen. Wenn es mir gelingen würde nur die XML Dokumente entfernen bzw. wegzulassen , würde das auch einen Haufen an Platz sparen und Rechenzeit beim auswerten.

Man muss dazusagen das nur für das testen schon Dateien habe die diese Zeilenanzahl erreichen und es absolut möglich ist das sich das am Ende im Millionenbereich bewegen wird.

Aber ich danke euch für die Tipps und werde es sicherlich ausprobieren.

Grüße Breas