Java Heap Space Probleme

[Don83]

Hallo,

ich hadere gerade mit einem Programm...
Mein Programm erstellt Vergleiche. Hierzu werden 3 Listen erstellt, 2 führen eine ID eine führ einen Gewichtswert.
Diese Listen haben jeweils eine Größe von fast 14 Millionen einträgen.
An einer Stelle möchte ich nun die IDs zu einer Liste verknüpfen. Dies sieht wie folgend aus:

keys.add(id1List.get(i)+sep+id2List.get(i));

Daraufhin gibt es folgenden Fehler:

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
	at java.util.Arrays.copyOfRange(Unknown Source)
	at java.lang.String.<init>(Unknown Source)
	at java.lang.StringBuilder.toString(Unknown Source)

Nun, ich habe bereits folgende Parameter angegeben:
-Xms512m -Xmx1024m

Die Listeneinträge lassen sich ebenfalls nicht reduzieren. Würde es etwas bringen die VM Parameter zu erhöhen? Woher weis ich was die maximal möglichen Werte für die VM sind? Und generell - wieso ist das zusammenfügen zweier Listen so problematisch. Wie gesagt, die Liste wird nicht verdoppelt sondern nur die Stringinhalte in einen String umgewandelt!

Also falls wer Tricks kennt um mit diesen Memory Problemen umzugehen nur zu ... Leider ist das ganze schwer zu Testen da ein Durchlauf 1 Stunde dauert (zumindest auf so vielen Vergleichen).

 

[Ark]

Das klingt spontan ein bisschen so, als würde das zu lösende Problem grundsätzlich falsch angepackt. Zeig doch mal den Code, denn ohne Code kommt man hier nicht mehr sinnvoll weiter.

Ark

 

[Don83]

Hallo,
das Programm hat über 1000 Zeilen code die ich auch nicht unbedingt öffentlich machen will und die Erzeugung der mehreren Mio Vergleiche ist gewollt und auch soweit korrekt. Das heisst bis zum Erzeugen der Vergleiche/Listeneinträge in die 3 Listen kann ich nichts am Programm verändern. Danach möchte ich mit diesen Listen Aktionen durchführen, z.B. sortieren usw.. Also grundsätzlich weis ich nurnoch nicht wie ich mit solch großen Arraylists umgehen soll.

 

[Lumaraf]

Ich glaube du unterschätzt den Speicherbedarf der Listen etwas.

Eine ArrayList mit 14Mio Integer Werten belegt alleine schon etwas über 200MB. Eine ArrayList mit 14Mio Strings (mit einer durschschnittlichen Länge von 15 Zeichen) liegt schon bei über 800MB. Grob geschätzt mußt du der JVM mindestens 1400MB zuteilen damit dein aktueller Code funktioniert. Einer 32Bit JVM kann man afaik bis zu 1500MB problemlos zuweisen.

 

[Ark]

Ich bin mir nicht sicher, meine aber, dass pro Objekt noch mal 16 Bytes an Overhead dazukommen (kann mich auch irren). Allein für die Strings kämen dann also noch mal 224 MiB dazu, und die Integer-Objekte in der ArrayList verdoppeln diesen Wert im schlechtesten Fall.

@Don83: Wenn ich mal raten darf: Es sieht so aus, aus würde eine gigantisch große Datei komplett eingelesen, dann der Inhalt im Arbeitsspeicher verarbeitet, und das Ergebnis soll dann wieder in eine Datei hinausgeschrieben werden. Wenn dem so ist: Versuche, die Einträge "on the fly" zu verarbeiten. Da du von Vergleichen sprichst, könnte sich dies auf direktem Wege etwas schwierig gestalten.

Dennoch: Ohne Code kann man sonst nicht wirklich viel machen.

Ark

 

[SlaterB]

die 1 Stunde Bearbeitungszeit ist auch etwas fragwürdig, vielleicht zur Zusammenstellung der Daten,
an sich kann man paar GB Arbeitsspeicher in Sekunden vollschreiben

public class Test2 {
    public static void main(String[] args)   {
        mem();
        List<String> l = new ArrayList<String>();
        for (int j = 0; j < 40; j++)  {
            for (int i = 0; i < 2000000; i++)     {
                l.add("Test Test " + i);
            }
            mem();
        }
    }

    public static void mem()  {
        Runtime runtime = Runtime.getRuntime();
        System.out.println(runtime.totalMemory() - runtime.freeMemory());
    }
}

sollte man eben nicht tun, in Datei zwischenspeichern, ganz drauf verzichten usw.

 

[Lumaraf]

Ich bin mir nicht sicher, meine aber, dass pro Objekt noch mal 16 Bytes an Overhead dazukommen (kann mich auch irren). Allein für die Strings kämen dann also noch mal 224 MiB dazu, und die Integer-Objekte in der ArrayList verdoppeln diesen Wert im schlechtesten Fall.

Unter einer 32Bit JVM belegt ein Integer Objekt genau 32 Byte. (4Byte für den Typ+4Byte für System#identityHashCode()+4Byte für den Wert+4Byte Overhead durch das Alignment auf 8Byte)
Der Overhead bei Strings muß btw doppelt berechnet werden da ja jedes String-Objekt auch noch ein char[] enthält.

 

[Don83]

Ich bin mir nicht sicher, meine aber, dass pro Objekt noch mal 16 Bytes an Overhead dazukommen (kann mich auch irren). Allein für die Strings kämen dann also noch mal 224 MiB dazu, und die Integer-Objekte in der ArrayList verdoppeln diesen Wert im schlechtesten Fall.

@Don83: Wenn ich mal raten darf: Es sieht so aus, aus würde eine gigantisch große Datei komplett eingelesen, dann der Inhalt im Arbeitsspeicher verarbeitet, und das Ergebnis soll dann wieder in eine Datei hinausgeschrieben werden. Wenn dem so ist: Versuche, die Einträge "on the fly" zu verarbeiten. Da du von Vergleichen sprichst, könnte sich dies auf direktem Wege etwas schwierig gestalten.

Dennoch: Ohne Code kann man sonst nicht wirklich viel machen.

Ark

Ja also die Situation ist folgende. Es werden 2 Datein mit jeweils 50.000 Zeilen eingelesen. Diese werden dann verglichen = (2.5 Milliarden Vergleiche). Das ganze 3* also 7.5 Milliarden Vergleiche. Allerdings nur im worst case. Wie gesagt in meinem Fall kommen dabei 14 Millionen Vergleiche raus, also deutlich weniger. Soweit klappt alles - jetzt muss ich die Daten nurnoch nachverarbeiten und würde die Vergleiche dafür gerne in eine Datei schreiben. Davor will ich die Daten sortieren. Um die drei Listen zu sortieren will ich sie in einer Liste vereinen und dann nur die eine Liste sortieren. Ob das sortieren dann klappt weis ich nicht, denn es hängt ja bereits beim zusammenführen der Daten. Man könnte das ganze natürlich an eine DB anschließen und vielleicht direkt dort reinschreiben, allerdings soll das Programm ja mobil sein und ich will nicht immer eine DB einrichten für den Extremfall der eh nur unwahrscheinlich eintritt! Nunja, meine idee ist jetzt die Sortierung erstmal rauszunehmen und unsortiert in die Datei zu schreiben. Dann muss man nicht immer diesen 1 Stunde Prozess vorlaufen lassen.