Speichereffizient programmieren

[davidh38]

Hi Javafans,

ich will dafür sorgen, dass es nicht so schnell zu einem Java Heap Error kommt.
Angenommen eine Liste ist als Datentyp gut geeignet. Wie kann ich das umgehen, da ja eine Liste aus Objekten und nicht aus primitiven Datentyp besteht. Ich kann auf der anderen Seite auch keine Arrays statt der Liste nehmen, weil eine Element aus dem Array rausnehmen einfach langsam wegen des umkopieren dauert. Wer kann mir helfen?

 

[njans]

Also das hängt davon ab, in welchem Kontext sich die Liste befindet. Was genau hast du da drinne? Ist es wichtig, in welcher Reihenfolge die Elemente sind? HashSets und HastMaps sind deutlich schneller im Zugriff.

 

[Marcinek]

Vieleicht mehr RAM einbauen?

Auf mehrere VMs skalieren?

 

[Ark]

HashSets und HastMaps sind deutlich schneller im Zugriff.

Schnellerer Zugriff geht nicht selten mit noch mehr Speicherverbrauch einher (was bei HashIrgendwas nämlich immer der Fall ist).

@davidh38: Du musst schon mehr Code zeigen bzw. die Problemstelle nach Möglichkeit eingrenzen. "Einfach so" kann man nicht optimieren bzw. verbessern, weder im Speicher- noch im Zeitverbrauch.

Ark

 

[hdi]

ich will dafür sorgen, dass es nicht so schnell zu einem Java Heap Error kommt.

Veraltete Daten aus der Liste raushauen. Wenn es keine "veralteten" (nicht mehr gebrauchte) Daten gibt, hilft wohl nur auf die Platte rausschreiben, und bei Bedarf wieder einlesen. D.h. immer nur gewisse Teile der Daten im Hauptspeicher halten. Ansonsten kann man da nichts tun - wenn dein Programm nun mal soviel Daten verarbeitet, dann ist das halt so.

edit: Natürlich kannst du auch erstmal der JVM mehr Speicher zuweisen:
-Xmx1024m (1 GB, Standard sind glaube ich nur 128 MB)

 

[Asgar13]

Veraltete Daten aus der Liste raushauen. Wenn es keine "veralteten" (nicht mehr gebrauchte) Daten gibt, hilft wohl nur auf die Platte rausschreiben, und bei Bedarf wieder einlesen. D.h. immer nur gewisse Teile der Daten im Hauptspeicher halten. Ansonsten kann man da nichts tun - wenn dein Programm nun mal soviel Daten verarbeitet, dann ist das halt so.

edit: Natürlich kannst du auch erstmal der JVM mehr Speicher zuweisen:
-Xmx1024m (1 GB, Standard sind glaube ich nur 128 MB)

Stimme voll und ganz zu.

z.B. zu jedem

HashMap.put

gehört auch ein

HashMap.remove

oder auch jeden Thread, den du nicht mehr brauchst den Inhalt auf

null

setzen, so werden die Sachen auch vom gcc weggeräumt.

 

[SlaterB]

Angenommen eine Liste ist als Datentyp gut geeignet.
[..]
Ich kann auf der anderen Seite auch keine Arrays statt der Liste nehmen, weil eine Element aus dem Array rausnehmen einfach langsam wegen des umkopieren dauert.

im Falle einer ArrayList passiert das sowieso,
Alternative ist LinkedList, die neu zu programmieren gehört eh zu den Grundaufgaben,
könntest du schnell auch für primitive Datentypen neu machen, aber der eine Wrapper macht da nicht wirklich viel aus wenn die LinkedList-Konstruktion selber einigen Bedarf pro Element hat..

viele primitive Datentypen können absolut nur per Array effizient gespeichert werden, etwa 1000x 8 Bytes wirklich in ca. 8000 Bytes,

bei aller anderen Art der Speicherung sollte der Einzelbedarf nicht zu wichtig sein,
grob großzügig überschlagen kannst du gleich immer von 100 Bytes für die 8 primitiven ausgehen


wenn Speicherplatz so wichtig ist, dann sind es die Arrays, dann sollte auch mit dem Zeitaufwand für die Neustrukturierung gelebt werden können

ein kleiner Strohhalm ist noch eine Mischung aus Arrays und mehr Struktur,
für ~1 Mio. Einträge vielleicht nicht nur ein Array mit aufwendigen Kopieren, sondern 1000 1000er Arrays,
die vielleicht zum Teil leer sind, nur zu bestimmten Zeiten neu befüllt werden,
dazu ein Index, welche Daten (etwa sortiert) wo zu finden ist, Details hängen von den Ansprüchen an die Datenstruktur ab,

jedenfalls wäre es denkbar mit etwas mehr Platz (nicht gleich 100-1000% wie bei LinkedList/ HashMap, sondern nur 1-20%)
die notwendige Arbeit deutlich zu verringern/ die Suchgeschwindigkeit dramatisch zu verbessern gegenüber puren Array

 

[davidh38]

Gibt es irgendwo eine Variable, die ausgibt, wieviel Speicher zur Laufzeit reserviert ist?

 

[SlaterB]

Runtime.getRuntime()

drei Methoden die long zurückgeben,
Runtime (Java 2 Platform SE 5.0)
bisschen verwirrend, Differenzen berechnen, genau testen vor und nach Erstellung von Daten

 

[davidh38]

Runtime.getRuntime()

drei Methoden die long zurückgeben,
Runtime (Java 2 Platform SE 5.0)
bisschen verwirrend, Differenzen berechnen, genau testen vor und nach Erstellung von Daten

danke, davon brauche ich doch eigentlich nur freeMemory(), oder?

 

[SlaterB]

nein, denn der allokierte Speicher steigt erst im Programmverlauf,
totalMemory() - freeMemory()
ist immer der entscheidende Wert, nun steht es mal wieder da, kann ich mir nie merken, aber muss ja auch nur einmal in eine Hilfsmethode

 

[Asgar13]

VisualVm daneben starten und zwischendurch einen Speicherdump machen (Für die gui liebhaber).

 

[Landei]

viele primitive Datentypen können absolut nur per Array effizient gespeichert werden, etwa 1000x 8 Bytes wirklich in ca. 8000 Bytes,

bei aller anderen Art der Speicherung sollte der Einzelbedarf nicht zu wichtig sein,
grob großzügig überschlagen kannst du gleich immer von 100 Bytes für die 8 primitiven ausgehen

Ich denke, dass z.B. Gnu Trove etwas schonender mit dem Platz umgeht