Serialisierungsproblem bzw. Heap Problem

[volk]

Hallo zusammen,

ich habe folgendes Problem mit der Serialisierung unter Java:

Ich füge in einer Hash-Tabelle viele Objekte, die auch Bilder als Byte-Array beinhalten. Später wird die Anzahl der
Objekte in der Hash-Tabelle steigern!

Die Hash-Tabelle wird anschliessend in einer Datei serialisiert. Wenn die Hash-Tabelle zu groß wird, dann
bekomme ich eine Exception, dass die Heap überlaufen ist!

Es gibt natürlich eine Alternativlösung, indem man die Objekte einzeln serialisiert, aber wer will schon ca. 5000 bzw. 10000 serialisierte Dateien auf seiner Platte haben?


Wie kann man trotzdem 10000 oder mehr Objekte in nur einer Datei serialisieren, ohne dass der RAM
beeinflusst wird?


Danke

 

[dotlens]

hast du schon den speicher erhöht?

Option "-Xmx256m" (max-wert setzen) // bei bedarf auch höher
Option "-Xms64m" (start-wert setzen)

 

[volk]

Man kann natürlich den speicher erhöhen, aber dann muss der User genug Speicher haben!

 

[Natorion]

also bei sovielen daten würd ich ehrlich gesagt eine datenbank verwenden.

 

[volk]

Hi!

Die Objekte, die ich in die Hash-Tabelle hinzufüge, kommen aus der Datenbank. Die Datenbank kann den Typ Blob
nicht exportieren, deshalb wollte ich selber die Bilder auf die Platte bringen.

 

[Natorion]

najo dann würd ich spontan vorschlagen nur den pfad zu den bildern im hashtable zu speichern und nicht die ganzen bilder. wenn den pfad hast, kannst die bilder dann eh immer noch aufmachen. zusätzlich würd ich beim erstellen des hashtables die initial capacity hochstellen

 

[volk]

Hi!

Danke für den Tipp ;-)

 

[Natorion]

kein problem, hats funktioniert?

btw wennst noch ein bisschen was herauskitzeln willst und auf den hashtable nur von einem thread aus zugegriffen wird, würd ich gleich ne HashMap verwenden. die ist nicht synchronized .

 

[volk]

Hi!

Ich habe folgendes vor:

Um zu verhindern, dass die Hashtable zu groß wird, werde ich nur eine bestimmte Anzahl an Daten in die Hashtable hinzufügen und sie anschliessend serialisieren und zu guter Letzt in einer Zip-Datei packen!

Ich muss nur jetzt herausfinden, wie ich unter Java eine Zip-Datei anlegen kann und wie man n-serialisierte Files zum Zip-Archive hinzufügen kann!

Schritte:

1. n-Daten aus der DB lesen und zur Hashtable hinzufügen und anschlissend auf die Platte serialisieren
2. die serialisierte Dateien, die jetzt auf der Platte liegen einzeln lesen und zum Zip-Archive hinzufügen

Wenn ich alle serialisierten Dateien in den Speicher lade und zum Schluß das Zip-Archive anlege, dann bekomme ich wieder Probleme mit der Heap, deshalb lese ich sie einzeln.

Ich glaube man muss unter Java ZipFile verwenden, wenn mann Zip-Dateien anlegen will!

 

[volk]

Hi!

> Vielleicht ist auch das Problem, dass du "ganze" Objekte in deiner HashTable speicherst.
Was du nicht sagst ;-)

Ich darf nicht alle Objekte aus der DB zur Hashtable hinzufügen. Sondern nur häppchenweise und anschliessend serialisieren und auf die Platte weg schreiben.

 

[L-ectron-X]

Ich habe den Beitrag nicht umsonst wieder entfernt... :roll:
Wenn du schon nicht mehr vorhandene Einträge zitierst, dann doch bitte vollständig... :wink:

 

[volk]

Ist OK ;-)

 

[Natorion]

wenn ich das jetzt richtig verstanden habe, schickst du einen request an die DB, welche dir ALLE dateien zurückliefert? das solltest natürlich in häppchen zerlegen, weil die dateien sind dann so oder so schon im speicher die würd ich aber wie gesagt nicht in einem hashtable speichern sondern nur die pfade in einem hashtable/vector/wasHaltGradPasst. ich denk mir das so in pseudocode ausgedrückt (grad zu faul um wieder resultsets usw rauszukramen *G*):

Vector allFilePaths = new Vector();
while (haeppchenweise == true) { //einfach durchiteriern
    FileList fileList = db.query("DatenbankAbfrage"); // halt häppchenweise holen sprich hier eines
    while(File currentFile = fileList.next) {
        String fileName = currentFile.getAbsolutePath();
        serializeThis(currentFile, savePath); //speichern wir die datei auf unsrem computer
        allFilePaths.add(fileName);
    }
}

//fertig simma

jetzt hast halt alle file pfade in einem Vector dh du kannst auf die dateien extremst fein zugreifen. der Vorteil ist halt, dass der Speicher frei ist, wenn die abfrage fertig ist. vielleicht solltest auch austesten, ob es was performancemäßiges positives bringt, wennst nach ein paar "häppchen" manuell den garbage collector aufrufst

 

[volk]

Danke