Java memory leakage

A

Achim1980

Gast
Hallo zusammen.

Ich habe ein Program entwickelt was Daten einliest und für jeden Datenpunkt ein Objekt anlegt und in eine ArrayList speichert.
Nun hat sich in den letzten Monaten die Datenfülle (dank modernerer Messgeräte) erheblich vergrössert, so dass ich mit meinem Programm an Grenzen sto?e, dh ich bekomme nach einiger Zeit einen java.lang.OutOfMemoryError: Java heap space error, obwohl ich die -Xms und Xmx Optionen voll ausgeschöpft habe (Xmx1500m). Hoher geht bei mir nicht.

ich weiss nun nicht was ich am Programm ändern könnte: muss ich die 100000e von Objekten die schon beim Einlesen der Datenpunkte erzeugt werden, irgendwie verkleinern?
Habe auch bereits den MemoryAnalyzer in Eclipse installiert, aber ich komme da nicht weiter. Er liefert mir zwar Objekte, die in riesiger Anzahl da sind und ne Menge Speicher fressen, aber was ich tun kann um das Programm um den Heap Space error herumzuführen, weiss ich nicht.

Kann mir jemand helfen wie ich weiter vorgehen kann?

Alles Liebe und vielen Dank!
 

langhaar!

Bekanntes Mitglied
Wenn die Datenfülle weiterhin wächst, solltest du dir mal alternative Lösungen überlegen als alle Objekte im Speicher zu halten.

Natürlich kannst du auch versuchen, die Objekte kleiner zu bekommen.
Inwieweit das möglich ist, hängt von dem Aufbau (Datentypen) und Inhalten der Objekte ab. Sind z.B. Texte enthalten, können diese komprimiert werden.
 
A

Achim1980

Gast
Hi!

Also meine Objekte enthalten schon ca. 20 bis 30 Parameter, teils auch Zahlen-ArrayListen, meist jedoch int oder double Variablen. Läuft das Programm und schaue ich in der Zeit im Windows Task Manager die Speicherauslastung an, so wächst diese rapide an, und bei einem bestimmten Wert kommt dann die Heap Space Meldung....

Meinst du, dass man die Objekte (bzw. die ArrayListe mit den Objekten) auf festplatte speichern sollte um diese danach wieder einlesen zu können?
Dauert das nicht auch wieder viel Zeit?

Danke!

Achim
 

turtle

Top Contributor
Java heap space error, obwohl ich die -Xms und Xmx Optionen voll ausgeschöpft habe (Xmx1500m). Hoher geht bei mir nicht.

Unter einer 64-bit JVM kommt man da natürlich höher.

Aber die Frage ist schon zulässig, ob alle Werte immer im Speicher gehalten werden müssen?
 

langhaar!

Bekanntes Mitglied
Meinst du, dass man die Objekte (bzw. die ArrayListe mit den Objekten) auf festplatte speichern sollte um diese danach wieder einlesen zu können?

Die Frage ist doch letzendlich, was du mit diesen Zahlen vorhast. Warum müssen die alle zugleich im Speicher sein? Wenn du sie auf Platte speicherst um sie wieder komplett einzulesen, ist nichts gewonnen.

Wie wäre es mit einer Datenbank? Dann kannst du selektiv auf deine Daten zugreifen. Dass du zwingend alle Daten im Speicher haben musst, kann ich mir schwer vorstellen.
 

fastjack

Top Contributor
Probiere mal verschiedene Arten von Data-Storages aus, z.B. Memcached, oder auch Memory-Datenbank oder normale Datenbank oder was auch immer.
Oder schaff abgespeckte Objekte für die Speicherhaltung und lade zusätzliche Detail-Infos nach, wenn Du sie brauchst.
 
A

Achim1980

Gast
Hallo!

Danke für eure Anregungen. Die Sache ist die:
Ich habe ein File mit Millionen von Messpunkten,das ich einlese. Ich filtere die Punkte beim Einlesen, so dass nicht alle Punkte aufgenommen werden müssen. Letztendlich muss ich ich sie aber meim Einlesen in einer Datenstruktur speichern. Dann folden verschiedene Berechnungen, wo ich zb. die Punkte, die zu einem Signal gehören, zusammenfasse,. Dafür habe ich Objekte gebaut, welche einige Argumente beinhalten (bestimmt 15). Von diesen Objekten werden bestimmt an die 400000 erzeugt. Anschliessend gehen die Berechnungen weiter, wie in einer Pipeline, neue Objekte werden erzeugt ......ich frage mich nun, ob es die vielen Objekte sind (mit den vielen Argumenten), die das Programm so langsam machen?
Das mit dem Datenbank-Erzeugen kann ich leider nicht so nachvollziehen, denn alles was ich mache ist die Fülle an Daten einlesen, bearbeiten, und am ende Ergebnistabellen ausgebe.
Da bleibt keine Zeit für ein Zwischenspeichern in einer DB.
Wenn ich also die Daten in Objekte einlese, so wächst der benutzte Speicher an, immer weiter, bis zu anscheinend das Limit erreicht ist.

Ich bin weiterhin sehr froh um Vorschläge aller Art!
Vielleicht hat ja jemand schon mal mit ähnlich grössen Input-Mengen gearbeitet??

Grüsse,
Achim
 

langhaar!

Bekanntes Mitglied
Das mit dem Datenbank-Erzeugen kann ich leider nicht so nachvollziehen, denn alles was ich mache ist die Fülle an Daten einlesen, bearbeiten, und am ende Ergebnistabellen ausgebe.
Da bleibt keine Zeit für ein Zwischenspeichern in einer DB.

Was meinst du mit 'keine Zeit'?
Ist deine Auswertung so zeitkritisch, dass der Zugriff auf eine DB problematisch wird?

Dass du die Daten 'nur' einlesen, bearbeiten (berechnen?) und ausgeben möchtest, ist kein Widerspruch zu einer DB. Bei Datenmengen, die den Speicher des Rechners überschreiten, geht es nicht anders. Eine Liste von Milliarden von Daten kann nicht im Speicher gehalten werden.

Nochmal die Frage, ob du zwingend auf alle Daten gleichzeitig Zugriff haben musst.
Kannst du keine Zwischenergebnisse berechnen? Z.B. alle tausend Sätze Zwischenergebnisse erzeugen und die bisherigen Objekte verwerfen? Gerade da es sich um Messwerte handelt, vermute ich, dass du nicht jeden Satz permanent im Zugriff haben musst sondern die Ergebnisse verdichten kannst.

Vielleicht hat ja jemand schon mal mit ähnlich grössen Input-Mengen gearbeitet??
Täglich :)
 
Zuletzt bearbeitet:
A

Achim 1980

Gast
Ok, danke für deinen Tip!
Was für ne DB würdest du denn nehmen?
Würde ich da die Objekte als Objekte abspeichern? Oder jedes Objekt mit seinen Argumenten als Zeile der Datenbank?
Was spricht gegen persistentes Abspeichern der Objekte auf der Festplatte?
 

langhaar!

Bekanntes Mitglied
Würde ich da die Objekte als Objekte abspeichern? Oder jedes Objekt mit seinen Argumenten als Zeile der Datenbank?
Was spricht gegen persistentes Abspeichern der Objekte auf der Festplatte?

Meines Wissens sind objektorientierte Datenbanken nicht wirklich verbreitet und performant.
Ich würde eine normale relationale DB nehmen und den Zeitpunkt der Messung als Primärschlüssel verwenden. Sobald du ein Objekt zur Berechnung brauchst, liest du die Messwerte aus der DB und instanziierst das Objekt.

Eventuell kannst du dich auch von den Objekten in Teilen verabschieden und die Berechnungen direkt über die Datanbank vornehmen. So lassen sich z.B. Summierungen oder Maximum, Minimum - auch selektiv - direkt per SQL abfragen.

Letzlich hängt deine Frage, welche Art der Speicherung du verwendest, davon ab, wie performant dein Programm arbeiten muss und wieviele Änderungen du an deinem Programm vorzunehmen bereit bist, sowie welche Berechnungen durchgeführt werden und wie deine Datenstruktur ist.

Mit anderen Worten: Man kann es ohne weitere Infos pauschal nicht sagen
 
Ähnliche Java Themen
  Titel Forum Antworten Datum
S Java memory fehler: Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap spa Java Basics - Anfänger-Themen 5
T Out of Memory (Java Heap Space) Java Basics - Anfänger-Themen 9
B Memory in Java Java Basics - Anfänger-Themen 16
O Java Kara geschweifte Klammern Java Basics - Anfänger-Themen 2
richis-fragen Mausrad logitech kann links und rechts klick wie in java abragen. Java Basics - Anfänger-Themen 15
XWing Java Klssenproblem Java Basics - Anfänger-Themen 4
R Umgebungsvariable java -cp gibt immer Java-Hilfe... Java Basics - Anfänger-Themen 3
farbenlos Csv Datei in Java einlesen Java Basics - Anfänger-Themen 18
F TableModelListener: java.lang.ArrayIndexOutOfBoundsException: 132 Java Basics - Anfänger-Themen 3
G Java 8 - Support-Ende Java Basics - Anfänger-Themen 7
T Java Weihnachtsbaum + Rahmen Java Basics - Anfänger-Themen 1
N Will mit Java anfangen Java Basics - Anfänger-Themen 13
Ü Java Array - Buchstaben als Zahlen ausgeben Java Basics - Anfänger-Themen 22
M Java Iterator Verständnisfrage Java Basics - Anfänger-Themen 6
M Java Mail Programm Java Basics - Anfänger-Themen 4
Sniper1000 Java 391 für Windows Java Basics - Anfänger-Themen 37
J Java long- in int-Variable umwandeln Java Basics - Anfänger-Themen 6
JaZuDemNo Java im Studium Java Basics - Anfänger-Themen 7
E Java Programm zur anzeige, ob Winter- oder Sommerzeit herrscht Java Basics - Anfänger-Themen 62
I QR code in Java selber generieren Java Basics - Anfänger-Themen 5
V Java-Ausnahmebehandlung: Behandlung geprüfter Ausnahmen Java Basics - Anfänger-Themen 1
krgewb Java Streams Java Basics - Anfänger-Themen 10
A Überwältigt von der komplexen Java Welt Java Basics - Anfänger-Themen 29
O Mehrfachvererbung auf Spezifikations- und Implementierungsebene in Java. Interfaces Java Basics - Anfänger-Themen 19
John_Sace Homogene Realisierung von Generics in Java ? Java Basics - Anfänger-Themen 19
P Meldung aus Java-Klasse in Thread an aufrufende Klasse Java Basics - Anfänger-Themen 1
R mit Java API arbeiten Java Basics - Anfänger-Themen 9
P JDK installieren Probleme bei der Java-Installation Java Basics - Anfänger-Themen 8
S Java: Wie sortiere ich eine ArrayList benutzerdefinierter Objekte nach einem bestimmten Attribut? Java Basics - Anfänger-Themen 2
Timo12345 JNLP File mit Java öffnen Java Basics - Anfänger-Themen 2
S Video Editierung mit Java.._ Java Basics - Anfänger-Themen 2
F Einstelungen in Java - CursorBlinkRate Java Basics - Anfänger-Themen 10
A PHP $_POST["name"] in Java Java Basics - Anfänger-Themen 3
vivansai21 Is there a oneliner to create a SortedSet filled with one or multiple elements in Java? Java Basics - Anfänger-Themen 9
Athro-Hiro Weißes Bild in Java erstellen Java Basics - Anfänger-Themen 3
Arjunreddy Can someone please tell me how to use a debugger in BlueJ(a Java environment) Java Basics - Anfänger-Themen 1
M Java assoziationen (UML) Java Basics - Anfänger-Themen 8
H Excel-Tabellen mit Java erstellen Java Basics - Anfänger-Themen 4
Simon16 Java ArrayListe von einer Klasse sortieren Java Basics - Anfänger-Themen 2
P Wie kann ich in meinem Java Programm etwas dauerhaft speichern? Java Basics - Anfänger-Themen 5
H Nutzt Eclipse alle CPU-Threads beim Ausführen von Java-Programmen? Java Basics - Anfänger-Themen 4
xXGrowGuruXx Java einstieg, leichte sache 0 verstanden Java Basics - Anfänger-Themen 7
A java.sql.SQLException: Data type mismatch. Java Basics - Anfänger-Themen 1
H Java-Programm zur Ausgabe von Zuständen Java Basics - Anfänger-Themen 80
N Java Spiel Figur auf dem Hintergrundbild bewegen. Java Basics - Anfänger-Themen 11
G Kann Java-Programm nicht als jar aufrufen, auch als EXE nicht Java Basics - Anfänger-Themen 19
N Java Taschenrechner hat Jemand vlt einen Tipp dafür wie ich jetzt die buttons verbinden kann und das Ergebnis auf dem textfield anzeigen lassen kann Java Basics - Anfänger-Themen 13
A Lerngruppe Java Java Basics - Anfänger-Themen 2
G Help me in the Java Program Java Basics - Anfänger-Themen 2
L Java- Vererbung Java Basics - Anfänger-Themen 4
LimDul Suche Java Stream Tutorial Java Basics - Anfänger-Themen 2
_so_far_away_ Ich möchte Java lernen Java Basics - Anfänger-Themen 11
benny1993 Java Programm erstellen für ein Fußball-Turnier Java Basics - Anfänger-Themen 3
M Datentypen While-Schleife eine Java Methode erstellen Java Basics - Anfänger-Themen 3
V Bild per Java Script austauschen Java Basics - Anfänger-Themen 7
MoxMorris this Keyword in Java Java Basics - Anfänger-Themen 14
D Wie kann man in Java nach Arrays auf Duplikate prüfen Java Basics - Anfänger-Themen 12
wolei JAVA Zeitdifferenz feststellen. Java Basics - Anfänger-Themen 4
DiyarcanZeren Rekursion in Java Java Basics - Anfänger-Themen 5
wolei Java generic interface in a generic class Java Basics - Anfänger-Themen 6
monsterherz Ablauf der Erstellung eines Java Programmes Java Basics - Anfänger-Themen 17
monsterherz Circle.java:5: error: <identifier> expected Java Basics - Anfänger-Themen 2
julian-fr Wie kann ich am besten Java lernen? Java Basics - Anfänger-Themen 17
A Java-Properties und -RessourceBundles Java Basics - Anfänger-Themen 5
lrnz22 Java-Basics-Aufgabe Java Basics - Anfänger-Themen 8
R Java kann nicht installiert werden Java Basics - Anfänger-Themen 8
marcelnedza Finde meinen Fehler in einer Methode nicht, Java Karol Java Basics - Anfänger-Themen 15
G In ein java Dokument Ton einbinden Java Basics - Anfänger-Themen 1
C was heisst es wenn java ']' erwartet ? Java Basics - Anfänger-Themen 2
KeinJavaFreak Erste Schritte Programm "Java(TM) Platform SE binary " nicht vorhanden Java Basics - Anfänger-Themen 1
KeinJavaFreak Erste Schritte Java "Executable Jar File" nicht vorhanden Java Basics - Anfänger-Themen 1
melisax Java 2D-Array Tabelle Java Basics - Anfänger-Themen 4
melisax Java Array Wert an bestimmtem Index angeben Java Basics - Anfänger-Themen 14
J Java Testklasse Java Basics - Anfänger-Themen 5
P Java Selenium . Parameterized.Parameters erzeugt eine Fehlermeldung Java Basics - Anfänger-Themen 14
W Java-Code mit Array Java Basics - Anfänger-Themen 14
W Java-Code Java Basics - Anfänger-Themen 2
P BeforeEach AfterEach werden nicht ausgeführt. Java / Selenium Java Basics - Anfänger-Themen 4
A Wie führe ich eine Batch-Datei von meiner Java-Anwendung aus? Java Basics - Anfänger-Themen 18
W Java code- TicTac toe Java Basics - Anfänger-Themen 51
Ostkreuz Java Docs Java Basics - Anfänger-Themen 9
R Java boolean Unterschied " == " und " = " Java Basics - Anfänger-Themen 3
D Java Programm mit Batch-Datei starten Java Basics - Anfänger-Themen 32
W Java-code Java Basics - Anfänger-Themen 8
W Java-code Java Basics - Anfänger-Themen 9
W Java-Code erklären Java Basics - Anfänger-Themen 6
A Java Kurs / Tutorial Java Basics - Anfänger-Themen 6
K Java Lotto Spiel; ich komme nicht weiter Java Basics - Anfänger-Themen 15
R Operatoren Rechenoperation in Java verwenden für Calculator Java Basics - Anfänger-Themen 2
P Java 2n Potenzieren Java Basics - Anfänger-Themen 1
J Java Hamster Java Basics - Anfänger-Themen 4
D Wie sehe ich ein Java-Programm? Java Basics - Anfänger-Themen 27
V Die Funktion des neuen Schlüsselworts in Java Java Basics - Anfänger-Themen 1
W Junit-Test (Java) Java Basics - Anfänger-Themen 4
W Testfälle bei Java ( Junit-Test) Java Basics - Anfänger-Themen 3
laxla123 If-else Java Java Basics - Anfänger-Themen 4
RashAGhul Java Verwaltungstool Erstellen mit kaum Wissen Java Basics - Anfänger-Themen 9
S Substring in java Java Basics - Anfänger-Themen 3
Z Operatoren Java Applikation Java Basics - Anfänger-Themen 8
Tw1Z Erste Schritte Sort in java Java Basics - Anfänger-Themen 2

Ähnliche Java Themen

Neue Themen


Oben