Große Datei am effektivsten/performantesten auslesen und auswerten?

[IceTi]

Hi,

wie kann ich eine sehr sehr große Datei (> 2Gb) am effektivsten/performantesten auslesen und auswerten?

Dabei handelt es sich um eine XML Datei, im Endeffekt muss ich immer die Tags auslesen und wenn ein bestimmtes Tag vorkommt, muss dort ein entsprechenden Inhalt ausgelesen werden...

Meine Idee: RandomAccessFile benutzen... die ersten 5 Zeichen einer Zeile auslesen und vergleichen, wenn meine Tags nicht vorkommen in die nächste Zeile Springen... Falls doch diese Zeile nach dem entsprechenden Inhalt durchsuchen, welchen ich raus filtern möchte....

Oder wie macht man sowas am besten? Danke!!

 

[musiKk]

Wenns XML ist, würde ich nicht per File rangehen, sondern SAX oder StAX verwenden.

 

[IceTi]

wo wäre denn der unterschied zwischen den beiden?

 

[Wildcard]

SAX ist Event basiert, StAX streaming basiert.

 

[IceTi]

Stax kann doch beides oder? Was ist denn besser/schneller um einfach daten auszulesen?

 

[JohannisderKaeufer]

Und Dom würde ich in diesem Fall aussen Vorlassen, da hier der XML-Baum einmal komplett in den Speicher gezogen wird, was bei 2GB höchstwahrscheinlich schlecht ausgeht.

Abhängig davon, was dein Ziel ist, könntest du per XSLT dein XML-Dokument vorverarbeiten und dann per Dom, Sax oder Stax oder JaxB auf deinen Inhalt zugreifen.

 

[IceTi]

Mit Stax komme ich nun klar Läuft ganz gut...

Wie oder kann man... komplette Tags auschließen, also wenn z.B. Tag "Hallo" kommt, soll nicht tiefer gegangen werden sondern direkt ans Ende dieses Tags... Geht das?