Java Objekte auf Platte auslagern.

Me0eegah

Mitglied
Hallo, ich verwende momentan eine ConcurrentHashMap in der ich Objekte speichere <String, myObject>. Leider reicht der Arbeitsspeicher nicht mehr (-Xmx3712M mehr erlaubt Java nicht obwohl ich 32GB RAM habe) aus und ich muss die Objekte auf Platte auslagern. Wie macht man soetwas am besten?
In eine DB (MySQL, BerkeleyDB, oder SQLite oder ....)? Oder einfach als Dateien ins FS schreiben? Vorteile/Nachteile/Geschwindigkeit?
Habt Ihr Beispiele, oder kennt Ihr Seiten im Internet die das beschreiben?
Ich bin fuer jeden Tipps dankbar da das ganze fuer mich ganz neu ist.
 

Ontos

Mitglied
Moin Moin
wie viele Elemente willst du speichern?
Das Filesystem ist anscheinend der falsche Ort dafür. Du willst ja wohl in den Daten suchen usw. also ab in eine DB. Welche? Abhängig von der Größe der Daten und deiner Anwendung. Müssen noch andere darauf zugreifen? Ist es sinnvoll das die Daten bei jeder Anwendung vorhanden sind? Was willst du mit den Daten machen? usw. soory Glaskugel verdreckt ;-)

Fragen zu DB => DB Forum hier nur etwas weiter unten :)

3721MB kann durch das OS kommen. Kannst du anderen Prozessen mehr als 3Gb zuweisen oder nur Java nicht? Warum hast du ein 32GB System?

cu Ontos
 

Me0eegah

Mitglied
Momentan hab ich c.a. 50.000 key/value Paare, das ist aber zu wenig, ich denke es werden 200.000 - 500.000 ist ok ....
Ich will natuerlich auch nicht den ganzen Speicher verbraten da es nicht meine Maschine ist :-(
Die Objekte moechte ich mithilfe des Keys wiederfinden, holen, abaendern, zurueckschreiben oder loeschen.
Zugriff benoetige ich nur von meiner Anwendung (ca. 2 - 10 Threads).

Woher das Speicher Limit kommt? keine Ahnung, aber auch nicht wichtig (siehe oben). Es betrifft nur Java, andere Anwendungen koennen wesentlich mehr Speicher verwenden.

$ java -version
java version "1.6.0_16"
Java(TM) SE Runtime Environment (build 1.6.0_16-b01)
Java HotSpot(TM) Server VM (build 14.2-b01, mixed mode)

$ uname -a ; cat /etc/*release
Linux mucinj13 2.6.16.46-0.12-smp #1 SMP Thu May 17 14:00:09 UTC 2007 x86_64 x86_64 x86_64 GNU/Linux
LSB_VERSION="core-2.0-noarch:core-3.0-noarch:core-2.0-x86_64:core-3.0-x86_64"
SUSE Linux Enterprise Server 10 (x86_64)
VERSION = 10
PATCHLEVEL = 1
 

homer65

Top Contributor
Da du Zugriff über einen "Key" haben willst, kommt eigentlich nur eine Datenbank in Betracht. Davon gibt es aber viele, du hast die Qual der Wahl.
 
M

maki

Gast
@Me0eegah
Du hast ein 32 Bit JRE, kein 64 Bit, damit sollte das Limit unter Linux bei unter 4GiB liegen.

Aber was du da vorhast ist imho "suboptimal", wenn man soviele Daten hat, darf es eine DB sein, serialisieren ist kein ersatz für eine DB sondern hat andere Einsatzgebiete.
 

ThreadPool

Bekanntes Mitglied
Woher das Speicher Limit kommt? keine Ahnung, aber auch nicht wichtig (siehe oben). Es betrifft nur Java, andere Anwendungen koennen wesentlich mehr Speicher verwenden.

Hast du dir den Link mal angesehen? Der zeigt nicht ins Nirvana sondern auf einen FAQ-Eintrag von Sun der da heisst "When you download the SDK or JRE, must you choose between the 32 and 64-bit versions? "

200k-500k Werte sind schon recht viel aber nicht unglaublich viel für eine Hashmap, die Hashmap speichert ca. 16 Bytes an Nutzdaten [1] pro Eintrag, deine Schlüssel und referenzierten Objekte müssen schon arg riesig sein damit der Speicher verbraucht wird.

[1] Referenzen auf Key, Value, der Hashcode als int und einen Link auf das nächste Element
 
Zuletzt bearbeitet:

Me0eegah

Mitglied
64bit, Danke das hat geholfen ;-)
Die Schluessel sind nicht gross, die Objekte koennen zum Teil sehr gross werden. Es werden auch staendig Daten in die HashMap eingefuegt und wieder geloescht (keine Ahnung wie und wie oft der Garbage Collector arbeitet).
 
Ähnliche Java Themen
  Titel Forum Antworten Datum
S Java: Wie sortiere ich eine ArrayList benutzerdefinierter Objekte nach einem bestimmten Attribut? Java Basics - Anfänger-Themen 2
Spandeli8 Erzeugte Objekte gegenüber Bildern hervorheben in Java Processing Java Basics - Anfänger-Themen 1
G Java Objekte auf Duplikate testen Java Basics - Anfänger-Themen 4
J Java GUI- Objekte Position per Quelltext bestimmen Java Basics - Anfänger-Themen 4
B HTML Code / Seite auslesen und JAVA Objekte erstellen Java Basics - Anfänger-Themen 12
Joew0815 Interface JSON Objekte aus Java Objekten erzeugen Java Basics - Anfänger-Themen 9
P Java Objekte - Verständnisfrage Java Basics - Anfänger-Themen 9
T Java RMI /Objekte an Konstruktor übergeben Java Basics - Anfänger-Themen 3
P Kopiert Java objekte? Java Basics - Anfänger-Themen 6
O Java Kara geschweifte Klammern Java Basics - Anfänger-Themen 2
richis-fragen Mausrad logitech kann links und rechts klick wie in java abragen. Java Basics - Anfänger-Themen 15
XWing Java Klssenproblem Java Basics - Anfänger-Themen 4
R Umgebungsvariable java -cp gibt immer Java-Hilfe... Java Basics - Anfänger-Themen 3
farbenlos Csv Datei in Java einlesen Java Basics - Anfänger-Themen 18
F TableModelListener: java.lang.ArrayIndexOutOfBoundsException: 132 Java Basics - Anfänger-Themen 3
G Java 8 - Support-Ende Java Basics - Anfänger-Themen 7
T Java Weihnachtsbaum + Rahmen Java Basics - Anfänger-Themen 1
N Will mit Java anfangen Java Basics - Anfänger-Themen 13
Ü Java Array - Buchstaben als Zahlen ausgeben Java Basics - Anfänger-Themen 22
M Java Iterator Verständnisfrage Java Basics - Anfänger-Themen 6
M Java Mail Programm Java Basics - Anfänger-Themen 4
Sniper1000 Java 391 für Windows Java Basics - Anfänger-Themen 37
J Java long- in int-Variable umwandeln Java Basics - Anfänger-Themen 6
JaZuDemNo Java im Studium Java Basics - Anfänger-Themen 7
E Java Programm zur anzeige, ob Winter- oder Sommerzeit herrscht Java Basics - Anfänger-Themen 62
I QR code in Java selber generieren Java Basics - Anfänger-Themen 5
V Java-Ausnahmebehandlung: Behandlung geprüfter Ausnahmen Java Basics - Anfänger-Themen 1
krgewb Java Streams Java Basics - Anfänger-Themen 10
A Überwältigt von der komplexen Java Welt Java Basics - Anfänger-Themen 29
O Mehrfachvererbung auf Spezifikations- und Implementierungsebene in Java. Interfaces Java Basics - Anfänger-Themen 19
John_Sace Homogene Realisierung von Generics in Java ? Java Basics - Anfänger-Themen 19
P Meldung aus Java-Klasse in Thread an aufrufende Klasse Java Basics - Anfänger-Themen 1
R mit Java API arbeiten Java Basics - Anfänger-Themen 9
P JDK installieren Probleme bei der Java-Installation Java Basics - Anfänger-Themen 8
Timo12345 JNLP File mit Java öffnen Java Basics - Anfänger-Themen 2
S Video Editierung mit Java.._ Java Basics - Anfänger-Themen 2
F Einstelungen in Java - CursorBlinkRate Java Basics - Anfänger-Themen 10
A PHP $_POST["name"] in Java Java Basics - Anfänger-Themen 3
vivansai21 Is there a oneliner to create a SortedSet filled with one or multiple elements in Java? Java Basics - Anfänger-Themen 9
Athro-Hiro Weißes Bild in Java erstellen Java Basics - Anfänger-Themen 3
Arjunreddy Can someone please tell me how to use a debugger in BlueJ(a Java environment) Java Basics - Anfänger-Themen 1
M Java assoziationen (UML) Java Basics - Anfänger-Themen 8
H Excel-Tabellen mit Java erstellen Java Basics - Anfänger-Themen 4
Simon16 Java ArrayListe von einer Klasse sortieren Java Basics - Anfänger-Themen 2
P Wie kann ich in meinem Java Programm etwas dauerhaft speichern? Java Basics - Anfänger-Themen 5
H Nutzt Eclipse alle CPU-Threads beim Ausführen von Java-Programmen? Java Basics - Anfänger-Themen 4
xXGrowGuruXx Java einstieg, leichte sache 0 verstanden Java Basics - Anfänger-Themen 7
A java.sql.SQLException: Data type mismatch. Java Basics - Anfänger-Themen 1
H Java-Programm zur Ausgabe von Zuständen Java Basics - Anfänger-Themen 80
N Java Spiel Figur auf dem Hintergrundbild bewegen. Java Basics - Anfänger-Themen 11
G Kann Java-Programm nicht als jar aufrufen, auch als EXE nicht Java Basics - Anfänger-Themen 19
N Java Taschenrechner hat Jemand vlt einen Tipp dafür wie ich jetzt die buttons verbinden kann und das Ergebnis auf dem textfield anzeigen lassen kann Java Basics - Anfänger-Themen 13
A Lerngruppe Java Java Basics - Anfänger-Themen 2
G Help me in the Java Program Java Basics - Anfänger-Themen 2
L Java- Vererbung Java Basics - Anfänger-Themen 4
LimDul Suche Java Stream Tutorial Java Basics - Anfänger-Themen 2
_so_far_away_ Ich möchte Java lernen Java Basics - Anfänger-Themen 11
benny1993 Java Programm erstellen für ein Fußball-Turnier Java Basics - Anfänger-Themen 3
M Datentypen While-Schleife eine Java Methode erstellen Java Basics - Anfänger-Themen 3
V Bild per Java Script austauschen Java Basics - Anfänger-Themen 7
MoxMorris this Keyword in Java Java Basics - Anfänger-Themen 14
D Wie kann man in Java nach Arrays auf Duplikate prüfen Java Basics - Anfänger-Themen 12
wolei JAVA Zeitdifferenz feststellen. Java Basics - Anfänger-Themen 4
DiyarcanZeren Rekursion in Java Java Basics - Anfänger-Themen 5
wolei Java generic interface in a generic class Java Basics - Anfänger-Themen 6
monsterherz Ablauf der Erstellung eines Java Programmes Java Basics - Anfänger-Themen 17
monsterherz Circle.java:5: error: <identifier> expected Java Basics - Anfänger-Themen 2
julian-fr Wie kann ich am besten Java lernen? Java Basics - Anfänger-Themen 17
A Java-Properties und -RessourceBundles Java Basics - Anfänger-Themen 5
lrnz22 Java-Basics-Aufgabe Java Basics - Anfänger-Themen 8
R Java kann nicht installiert werden Java Basics - Anfänger-Themen 8
marcelnedza Finde meinen Fehler in einer Methode nicht, Java Karol Java Basics - Anfänger-Themen 15
G In ein java Dokument Ton einbinden Java Basics - Anfänger-Themen 1
C was heisst es wenn java ']' erwartet ? Java Basics - Anfänger-Themen 2
KeinJavaFreak Erste Schritte Programm "Java(TM) Platform SE binary " nicht vorhanden Java Basics - Anfänger-Themen 1
KeinJavaFreak Erste Schritte Java "Executable Jar File" nicht vorhanden Java Basics - Anfänger-Themen 1
melisax Java 2D-Array Tabelle Java Basics - Anfänger-Themen 4
melisax Java Array Wert an bestimmtem Index angeben Java Basics - Anfänger-Themen 14
J Java Testklasse Java Basics - Anfänger-Themen 5
P Java Selenium . Parameterized.Parameters erzeugt eine Fehlermeldung Java Basics - Anfänger-Themen 14
W Java-Code mit Array Java Basics - Anfänger-Themen 14
W Java-Code Java Basics - Anfänger-Themen 2
P BeforeEach AfterEach werden nicht ausgeführt. Java / Selenium Java Basics - Anfänger-Themen 4
A Wie führe ich eine Batch-Datei von meiner Java-Anwendung aus? Java Basics - Anfänger-Themen 18
W Java code- TicTac toe Java Basics - Anfänger-Themen 51
Ostkreuz Java Docs Java Basics - Anfänger-Themen 9
R Java boolean Unterschied " == " und " = " Java Basics - Anfänger-Themen 3
D Java Programm mit Batch-Datei starten Java Basics - Anfänger-Themen 32
W Java-code Java Basics - Anfänger-Themen 8
W Java-code Java Basics - Anfänger-Themen 9
W Java-Code erklären Java Basics - Anfänger-Themen 6
A Java Kurs / Tutorial Java Basics - Anfänger-Themen 6
K Java Lotto Spiel; ich komme nicht weiter Java Basics - Anfänger-Themen 15
R Operatoren Rechenoperation in Java verwenden für Calculator Java Basics - Anfänger-Themen 2
P Java 2n Potenzieren Java Basics - Anfänger-Themen 1
J Java Hamster Java Basics - Anfänger-Themen 4
D Wie sehe ich ein Java-Programm? Java Basics - Anfänger-Themen 27
V Die Funktion des neuen Schlüsselworts in Java Java Basics - Anfänger-Themen 1
W Junit-Test (Java) Java Basics - Anfänger-Themen 4
W Testfälle bei Java ( Junit-Test) Java Basics - Anfänger-Themen 3

Ähnliche Java Themen

Neue Themen


Oben