SAX Parser, wie weit ist der eigentlich?

[xip]

Hallo,

lasse gerade riesige OpenStreetMap.xml (ca. 100 GB) Daten durch einen Sax Parser bearbeiten.

Weil das locker auf meinem Rechner 2-3 Tage dauert interessiert es mich wieviel Prozent der Datei ich schon untersucht habe.

In der Funktion:

@Override
public void setDocumentLocator(Locator arg0) {
// TODO Auto-generated method stub


}

kann ich über den Locator die aktuelle Zeile erfragen aber von wie vielen?


Könnt ihr mir dabei helfen?

Dank euch.

 

[TheChemist]

Du könntest vielleicht vorher die Zeilen mal durchzählen? Ich denke du kommst nicht drum herum, wenn du die Gesamtzeilenanzahl wissen willst.

 

[KSG9|sebastian]

100GB 2-3 Tage?
Ich glaube du machst da etwas gravierend falsch.
Mit SAX sollte selbst die Größe "relativ" flott gehen...

 

[bone2]

100GB 2-3 Tage?
Ich glaube du machst da etwas gravierend falsch.
Mit SAX sollte selbst die Größe "relativ" flott gehen...

Wenn es kein raspberry pi ist, definitiv.

 

[ARadauer]

100GB ist schon aussergewöhnlich... auf keinen fall dom nehmen ;-)

 

[xip]

hi,

erstmal danke für eure Antworten.

ja, könnt erstmal das Dokument durchladen lassen und auf den Endtag warten und dann die Zeilen zählen. Kein Ding. dauert aber auch nen bischen. Dachte jetzt gibts da im SAX Parser irgendeine versteckte Funtion mit der ich das irgendwie auslesen kann. Naja,

Ja, das dauert so lange weil die Daten gleich noch verarbeitet werden. Sollte schnell gehen in der Entwicklung, ist also nur ne Single Thread Anwendung. Desshalb die 3 Tage.

Rechner die mal nen bischen was berechnen sollen hab ich hier ne Menge. DIe können sich ruhig mal nen paar Tage um sowas kümmern!

 

[KSG9|sebastian]

Tage sind trotz Berechnung immernoch völlig gruselig..

Warum eigentlich Anzahl Zeilen? Was willst du damit?