External Sort - too many open files

[alsdfkj]

Hi,

ich hab hier recht speicherintensive Merge-Sort Sortierungen (Input-File bis zu 15GB groß), weswegen ich jetzt auf einen external Sort gegangen bin, um das RAM Problem zu umschiffen. Jetzt ist mit eine Exception geflogen, die sagt, dass zu viele Dateien offen sind.
Weiß jemand, was man da machen kann? Festplattenplatz ist genug da, nur irgendwie ditsche ich irgendwie an allen Ecken an Grenzen :/
Kann man irgendwie diese Dateigröße erhöhen, ohne die Anwendung System abhängig zu machen?

 

[stone71]

too many open files hat nichts mit der eigentlichen Dateigröße zu tun??? Der Fehler ist ohne die Sourcen schwer zu finden. Normalerweise weist dieser Fehler darauf hin, dass man Files öffnet, aber möglicherweise nicht wieder schließt. Aus diesem Grund kommt es normalerweise zu diesem Fehler.

 

[ARadauer]

Zeig mal etwas Code.. machst du die Datei öfters (zb in einer Schleife) auf?

 

[aafsd]

Hi,

ich nehm diese Klasse hier, die auf Googlecode liegt: externalsortinginjava - External-Memory Sorting in Java - Google Project Hosting

 

[Dekker]

Das ist schön für dich. Und wie sieht dein Code dazu aus? Wie bindest du ihn ein? Wie verwendest du ihn?

 

[asdfdsf]

ahso, das meint ihr, sry...

currentLevelInput // File Objekt, dass die derzeitige Eingabedatei ist, unsortiert
currentLevelSortedOutput //File Objekt wo mein Endergebnis als sortierte Datei landen soll

List<File> l = ExternalSort.sortInBatch(currentLevelInput,
						comparator);
				ExternalSort.mergeSortedFiles(l, currentLevelSortedOutput,
						comparator);

 

[stone71]

Also ich denke immer noch, es gibt ein Problem mit den Sourcen(ExternalSort), die Du einsetzt. Ich würde vorschlagen, Du testest den Vorgang noch einmal mit kleineren Dateien. Ich hatte jetzt noch keine Zeit dies weiter zu prüfen, aber wenn ich es nicht falsch verstanden habe, dann erzeugt Dein Input-File so ca. 7500 Dateien mit 2MB. Diese Files sind dann wohl offen und werden auch nicht geschlossen, wenn ein Fehler aufgetreten ist.

Hier die beiden Links:
External-Memory Sorting in Java

Ashish Sharma's Tech Blog: External Merge Sort

Viel Glück ;-)