Java memory leakage

[Achim1980]

Hallo zusammen.

Ich habe ein Program entwickelt was Daten einliest und für jeden Datenpunkt ein Objekt anlegt und in eine ArrayList speichert.
Nun hat sich in den letzten Monaten die Datenfülle (dank modernerer Messgeräte) erheblich vergrössert, so dass ich mit meinem Programm an Grenzen sto?e, dh ich bekomme nach einiger Zeit einen java.lang.OutOfMemoryError: Java heap space error, obwohl ich die -Xms und Xmx Optionen voll ausgeschöpft habe (Xmx1500m). Hoher geht bei mir nicht.

ich weiss nun nicht was ich am Programm ändern könnte: muss ich die 100000e von Objekten die schon beim Einlesen der Datenpunkte erzeugt werden, irgendwie verkleinern?
Habe auch bereits den MemoryAnalyzer in Eclipse installiert, aber ich komme da nicht weiter. Er liefert mir zwar Objekte, die in riesiger Anzahl da sind und ne Menge Speicher fressen, aber was ich tun kann um das Programm um den Heap Space error herumzuführen, weiss ich nicht.

Kann mir jemand helfen wie ich weiter vorgehen kann?

Alles Liebe und vielen Dank!

 

[langhaar!]

Wenn die Datenfülle weiterhin wächst, solltest du dir mal alternative Lösungen überlegen als alle Objekte im Speicher zu halten.

Natürlich kannst du auch versuchen, die Objekte kleiner zu bekommen.
Inwieweit das möglich ist, hängt von dem Aufbau (Datentypen) und Inhalten der Objekte ab. Sind z.B. Texte enthalten, können diese komprimiert werden.

 

[Achim1980]

Hi!

Also meine Objekte enthalten schon ca. 20 bis 30 Parameter, teils auch Zahlen-ArrayListen, meist jedoch int oder double Variablen. Läuft das Programm und schaue ich in der Zeit im Windows Task Manager die Speicherauslastung an, so wächst diese rapide an, und bei einem bestimmten Wert kommt dann die Heap Space Meldung....

Meinst du, dass man die Objekte (bzw. die ArrayListe mit den Objekten) auf festplatte speichern sollte um diese danach wieder einlesen zu können?
Dauert das nicht auch wieder viel Zeit?

Danke!

Achim

 

[turtle]

Java heap space error, obwohl ich die -Xms und Xmx Optionen voll ausgeschöpft habe (Xmx1500m). Hoher geht bei mir nicht.

Unter einer 64-bit JVM kommt man da natürlich höher.

Aber die Frage ist schon zulässig, ob alle Werte immer im Speicher gehalten werden müssen?

 

[langhaar!]

Meinst du, dass man die Objekte (bzw. die ArrayListe mit den Objekten) auf festplatte speichern sollte um diese danach wieder einlesen zu können?

Die Frage ist doch letzendlich, was du mit diesen Zahlen vorhast. Warum müssen die alle zugleich im Speicher sein? Wenn du sie auf Platte speicherst um sie wieder komplett einzulesen, ist nichts gewonnen.

Wie wäre es mit einer Datenbank? Dann kannst du selektiv auf deine Daten zugreifen. Dass du zwingend alle Daten im Speicher haben musst, kann ich mir schwer vorstellen.

 

[fastjack]

Probiere mal verschiedene Arten von Data-Storages aus, z.B. Memcached, oder auch Memory-Datenbank oder normale Datenbank oder was auch immer.
Oder schaff abgespeckte Objekte für die Speicherhaltung und lade zusätzliche Detail-Infos nach, wenn Du sie brauchst.

 

[Achim1980]

Hallo!

Danke für eure Anregungen. Die Sache ist die:
Ich habe ein File mit Millionen von Messpunkten,das ich einlese. Ich filtere die Punkte beim Einlesen, so dass nicht alle Punkte aufgenommen werden müssen. Letztendlich muss ich ich sie aber meim Einlesen in einer Datenstruktur speichern. Dann folden verschiedene Berechnungen, wo ich zb. die Punkte, die zu einem Signal gehören, zusammenfasse,. Dafür habe ich Objekte gebaut, welche einige Argumente beinhalten (bestimmt 15). Von diesen Objekten werden bestimmt an die 400000 erzeugt. Anschliessend gehen die Berechnungen weiter, wie in einer Pipeline, neue Objekte werden erzeugt ......ich frage mich nun, ob es die vielen Objekte sind (mit den vielen Argumenten), die das Programm so langsam machen?
Das mit dem Datenbank-Erzeugen kann ich leider nicht so nachvollziehen, denn alles was ich mache ist die Fülle an Daten einlesen, bearbeiten, und am ende Ergebnistabellen ausgebe.
Da bleibt keine Zeit für ein Zwischenspeichern in einer DB.
Wenn ich also die Daten in Objekte einlese, so wächst der benutzte Speicher an, immer weiter, bis zu anscheinend das Limit erreicht ist.

Ich bin weiterhin sehr froh um Vorschläge aller Art!
Vielleicht hat ja jemand schon mal mit ähnlich grössen Input-Mengen gearbeitet??

Grüsse,
Achim

 

[langhaar!]

Das mit dem Datenbank-Erzeugen kann ich leider nicht so nachvollziehen, denn alles was ich mache ist die Fülle an Daten einlesen, bearbeiten, und am ende Ergebnistabellen ausgebe.
Da bleibt keine Zeit für ein Zwischenspeichern in einer DB.

Was meinst du mit 'keine Zeit'?
Ist deine Auswertung so zeitkritisch, dass der Zugriff auf eine DB problematisch wird?

Dass du die Daten 'nur' einlesen, bearbeiten (berechnen?) und ausgeben möchtest, ist kein Widerspruch zu einer DB. Bei Datenmengen, die den Speicher des Rechners überschreiten, geht es nicht anders. Eine Liste von Milliarden von Daten kann nicht im Speicher gehalten werden.

Nochmal die Frage, ob du zwingend auf alle Daten gleichzeitig Zugriff haben musst.
Kannst du keine Zwischenergebnisse berechnen? Z.B. alle tausend Sätze Zwischenergebnisse erzeugen und die bisherigen Objekte verwerfen? Gerade da es sich um Messwerte handelt, vermute ich, dass du nicht jeden Satz permanent im Zugriff haben musst sondern die Ergebnisse verdichten kannst.

Vielleicht hat ja jemand schon mal mit ähnlich grössen Input-Mengen gearbeitet??

Täglich 🙂

 

[Achim 1980]

Ok, danke für deinen Tip!
Was für ne DB würdest du denn nehmen?
Würde ich da die Objekte als Objekte abspeichern? Oder jedes Objekt mit seinen Argumenten als Zeile der Datenbank?
Was spricht gegen persistentes Abspeichern der Objekte auf der Festplatte?

 

[langhaar!]

Würde ich da die Objekte als Objekte abspeichern? Oder jedes Objekt mit seinen Argumenten als Zeile der Datenbank?
Was spricht gegen persistentes Abspeichern der Objekte auf der Festplatte?

Meines Wissens sind objektorientierte Datenbanken nicht wirklich verbreitet und performant.
Ich würde eine normale relationale DB nehmen und den Zeitpunkt der Messung als Primärschlüssel verwenden. Sobald du ein Objekt zur Berechnung brauchst, liest du die Messwerte aus der DB und instanziierst das Objekt.

Eventuell kannst du dich auch von den Objekten in Teilen verabschieden und die Berechnungen direkt über die Datanbank vornehmen. So lassen sich z.B. Summierungen oder Maximum, Minimum - auch selektiv - direkt per SQL abfragen.

Letzlich hängt deine Frage, welche Art der Speicherung du verwendest, davon ab, wie performant dein Programm arbeiten muss und wieviele Änderungen du an deinem Programm vorzunehmen bereit bist, sowie welche Berechnungen durchgeführt werden und wie deine Datenstruktur ist.

Mit anderen Worten: Man kann es ohne weitere Infos pauschal nicht sagen