Input/Output Datei in den Speicher lesen.

[Lybrial]

Hallo,

wie kann ich eine Datei komplett einlesen (also in den Speicher)
und dann Zeile für Zeile durchgehen?

Es sind sehr große Dateien. Eine Datei hat so ca. 100 GB.
Ich möchte eine Datei nach der anderen abarbeiten.

Also eine Datei in den Speicher lesen, Zeile für Zeile durchgehen,
nächste Datei in den Speicher lesen.

 

[Thallius]

Gar nicht. Macht ja auch gar keinen Sinn.

Gruß

Claus

 

[Lybrial]

Ich weiß nicht sonderlich viel über Java, aber ich weiß das diese
Aussage nicht stimmen kann!

Wenn ich z.B. ganz primitiv mit einem BufferedReader über die
Datei gehe und jede Zeile an einen String anfüge habe ich die
gesamte Datei im Speicher, da sie im String gespeichert ist.

 

[Thallius]

Noch einmal. 100GB RAM hat kein Rechner. Selbst wenn du sie einlesen könntest, müßte er sie ins virtuelle RAM lesen, was bedeutet er schreibt sie wieder auf die Platte. Wo liegt dann also der Vorteil? Es wird dadurch nicht schneller als wenn du es zeilenweise einliest.

Gruß

Claus

 

[Lybrial]

*hust*

Ich habe 3 TB Ram zur Verfügung....

 

[kaoZ]

Ich habe 3 TB Ram zur Verfügung....

Klingt nach Großrechner ^^

Was genau soll denn der Vorteil sein wenn du alles in den Ram lädst ? bzw. was bezweckst du damit ?

BTW. da du wenn du alles an einen String anfügst, z.B per Stringbuilder oder "+" Operator könnte es gut sein das der Heap deiner JVM dafür nicht ausreicht. Soweit ich weiß liegt dieser maximal zwischen 1536 to 2048 mb , und diese dürften dann relativ schnell voll sein bei einem 100GB großen Objekt, bzw. Objekten.

Wichtig ist dann auch noch ob 32 oder 64 Bit OS und JVM .

zu 100% sicher bin ich mir da aber nicht , hatte dies nur irgendwann mal gelesen.

 

[Lybrial]

Ich habe ein Zeitproblem.

Derzeit lese ich über einen BufferedReader Zeile für Zeile aus der Datei
in einen String ein, verarbeite ihn und hole mir die nächste Zeile.
Die Datei hat insgesamt über 1.5 Milliarden Zeilen.

Um 1 Millionen Zeilen zu verarbeiten benötigt das Programm derzeit
15 Minuten. Das ist zu lange. Viel zu lange.

Ich muss nun versuchen zu optimieren wo es geht. Ich erhoffe mir
eine Zeitersparnis, wenn die Datei im RAM liegt, da Festplattenzugriffe
eigentlich immer teuer sind.

 

[Thallius]

Es bleiben aber doch die gleichen Festplatten Zugriffe. Egal ob du alles auf einmal liest oder Zeile für Zeile. Da wirst du nichts sparen können. Klar nicht unbedingt Zeilenweise einlesen aber wenn du 64MB Blöcken oder so ließt dann sollte es wurscht sein.

Kannst Du doch ganz einfach ausprobieren. Lies einfach mal immer größere Blöcke ein und und schau wie sich die Zeit verhält. Ich denke irgendwann wird sie der Geschwindigkeitsgewinn gegen 0 annähern.

Ich denke eher, was immer du da auch machst, hast du eher ein Konzept Problem. Es werden ja nicht jeden Tag Millionen neue Zeilen hinzukommen oder? Und selbst wenn, dann must du halt mehrmals am Tag deine Software laufen lassen und immer nur die neuen Zeilen auswerten.
Wiso läuft das Ganze nicht auf einer Datenbank? Dann gäbe es das Problem überhaupt nicht.
100GB große Textdateien sind für mich eigentlich grundsätzlich ein absolutes NoGo.


Gruß

Claus

 

[Lybrial]

So ein Mist!

Die JVM limitiert das ganze tatsächlich auf 2GB.
Dann muss ich mir was anderes einfallen lassen.

Danke soweit.

Und als Antwort zu meinem Vorposter:

Die 100GB großen Dateien sollen in eine Datenbank verlegt werden.
Und falls du dich fragst wer die 100GB große Datei angelegt hat:

Das war google! Der Freebase Datenbank Dump ist eigentlich sogar
weit über 300GB groß. Ich hab ihn durch das löschen überflüssiger
Informationen schon auf 100GB "komprimiert".

 

[kaoZ]

Vielleicht kannst du ja hiermit was Anfagen , hier ist ein Link enthalten wie man wohl auch auf einem 32Bit System weit über 32GB an Speicher für Objekte durch Sogenannte 'oops' also sprich Pointer nutzen kann

Heap Size_Stackoverflow.com

unter 6. mit dem Grünen Haken, habs mir jetzt nicht genauer angeschaut

Du landest im Grunde hier :

Oracle - Compressed Oops