Datenhaltung bei DB Zugriff

[goodcat]

Hi,

ich habe ein Programm das Daten komplett in einer MySQL DB speichert.
Wenn ich das Programm (Multiple Document Interface) starte werden alle Daten (ob Sie in diesem Moment benötigt werden oder nicht) einmal abgerufen und in passende Objekte verpackt. Diese Objekte werden in Listen(Vektoren - da ich mit Vektoren die Daten schnell in eine ComboBox oder JTable packen kann) gespeichert. Wenn ich jetzt ein JInternalFrame aufrufe, wird ein refresh auf die relevanten Daten (nicht alle Daten - z.B. nur Benutzerinformationen) angewendet, die Objekte werden aktualisiert und die benötigten Listen mit den Objekten werden dem neuen Frame übergeben (das aktualisieren geht selbst bei großen Datenmengen (20000 DB Sätze) ziemlich schnell!).

Jetzt habe ich gehört das diese Art der "doppelten" Datenhaltung nicht sinnvoll ist und ich früher oder später mit Speicherprobleme zu kämpfen habe... Was sagen die Experten dazu?

Interessanterweise verbraucht das Programm mehr Speicher und ist bei weitem nicht so performant wenn ich die Objekte nur dann instanziere wenn Sie benötigt werden!


Danke im voraus!

 

[XHelp]

Kann man so pauschal nicht sagen. Wenn es Daten sind, die im Moment nicht benötigt werden, aber in 5 Sekunden instant da sein müssen, dann könnte es schon sinnvoll sein. Ansonsten ist es aber murks.
Zu der Performanz lässt sich auch pauschal nichts sagen. Wenn du ständig eine neue Verbindung aufbaust um einen Datensatz zu holen, dann kann das einmalige Auslesen von Daten (mit einer Verbindung) schon performanter sein. Aber das liegt eben nur an der Implementierung.

 

[goodcat]

Mh also die Daten müssen nicht Instant da sein. Also ist es wohl eher murks :autsch: ...
Habe mir mehr Gedanken über zu viele DB Abfragen und eine schlechte Performanz als über den Speicherplatz gemacht. Wenn ich einen Datensatz abrufe kann es sein das da locker irgendwas zwischen 10-20 Abfragen folgen... Das fand ich irgendwie nicht besonders schön... Verdammt und das Programm läuft wirklich richtig gut ;(

Mist also den ganzen Kram in die Tonne und wieder ans Zeichenbrett.

 

[HimBromBeere]

Mist also den ganzen Kram in die Tonne und wieder ans Zeichenbrett.

90% der Arbeiten eines Mediengestalters sind für die Tonne, ich nehme an, bei Informatikern sieht´s ähnlich aus

 

[timbeau]

Moment,

solange du KEINE Speicherplatzprobleme hast, lass alles so wie es ist.
Never change a running system.

Und dauernd die Db zu beanspruchen (Netzwerk, Festplatte, evtl ausgelasteter Server :autsch ist nicht gut.

 

[goodcat]

Speicherprobleme werde ich vermutlich erst in vielen vielen Jahren haben. Ich habe einen test mit 20000 DB Sätzen in einer Tabelle gestartet (Daten aus dem Taskmanager).
1. Programmstart ca. 57MB (ohne Daten)
2. Nach dem abrufen der Daten geht es auf ca. 80MB hoch.
3. Wenn dann eine JTable geöffnet wird und das ganze in ein DefaultTableModel übertragen wird sind es insgesamt 110MB-120MB.

Ärgerlich wäre es nur wenn ich in 3 Jahren feststelle das Programm hängt mit 500MB oder mehr im Arbeitsspeicher.
Selbst das wäre bei den heutigen Systemen kein Problem. Wer hat schon weniger als 1GB Speicher in seiner Kist...

Nur die Frage war ob diese Art der Datenhaltung sinnvoll ist und das scheint ja nicht der Fall zu sein. Wenn Ihr gesagt hättet "das kann man so machen", dann würde ich mir keinen Kopf machen.

Tjo einerseits habe ich absolut keine Lust alles neu zu machen. Andererseits kann ich schon nachvollziehen wieso meine Art der Datenhaltung murks ist.
Da ich noch in der Entwicklung bin sollte man es gleich richtig machen.

Komisch an der Sache ist das wenn ich die Daten nur abrufe wenn ich Sie benötige und das InternalFrame schließe geht der Speicher im Taskmanager nicht runter. Er bleibt bei 120MB stehen. Referenzen auf die Klassen gibt es auch nicht mehr (soweit ich das feststellen konnte) so das der GC eigentlich den Speicher räumen sollte.. Oder verstehe ich da was falsch?

 

[XHelp]

Das was du im Taskmanager siehst, ist nicht der tatsächliche Speicherverbrauch, sondern der reservierte Speicher. Und der GC wird ggf überhaupt nicht aufgerufen, wenn noch Speicher da ist.

 

[timbeau]

Stichwort VisualVM. Kann im Eclipse statt des Eclipse Launchers eingestellt werden und visualisiert wunderschön den Speicherverbrauch deines Progs.

 

[goodcat]

Ahh Supertool. Habs gerade mal ausprobiert.

Kann ich damit auch schauen ob eine bestimmte Klasse dem GC übergeben wurde?
Ich möchte überprüfen ob beim schließen meine Klasse mit den ganzen Daten auch "gelöscht" wurde.
Laut dem Memory Dump besteht immer noch eine krasse differenz...

 

[vanny]

Also, dass das Vorhalten größerer Datenmengen murks ist, würd ich jetzt auch nicht einfach so unterschreiben wollen.

Sicherlich sollte der Datenpool der quasi im Precache landet einen angemessenen Rahmen nicht sprengen.

In deinem Fall würd ich mir ne Rechnergurke suchen und dort mal einen Belastungstest machen um zu sehen, bis wo man das Spielchen treiben könnte/sollte.
Dann ziehste zur Sicherheit noch n bissl was ab und weisst, bis wohin man die Daten von der DB als fertige Objekte vorhalten kann bevor man wieder mit der DB interagieren muss.

Gruß Vanny

 

[goodcat]

Also mit der DB muss ich quasi jedesmal beim öffnen eines Eintrags "sprechen" da dieses Tool vermutlich im Netzwerk genutzt werden soll. Sprich von mehreren Benutzern. Und deshalb muss ich ja garantieren können das alle Benutzer immer aktuelle Daten haben wenn Sie einen Datensatz öffnen.

Jetzt stelle ich mir die Frage wie ich vorgehen soll wenn im Precache zu viele Einträge sind und ich mit der DB interagieren muss. Es muss dann ja überprüft werden das meine Liste mit Objekten die Anzahl von z.B. 200 Einträgen nicht überschreitet. Und dann? Wie soll ich weiter vorgehen wenn meine Daten Zentral liegen und nur an die JInternalFrames übergeben werden.

 

[homer65]

...
(das aktualisieren geht selbst bei großen Datenmengen (20000 DB Sätze) ziemlich schnell!).

Jetzt habe ich gehört das diese Art der "doppelten" Datenhaltung nicht sinnvoll ist und ich früher oder später mit Speicherprobleme zu kämpfen habe... Was sagen die Experten dazu?

Interessanterweise verbraucht das Programm mehr Speicher und ist bei weitem nicht so performant wenn ich die Objekte nur dann instanziere wenn Sie benötigt werden!


Danke im voraus!

Also 20000 Sätze ist keine große Datenmenge. Das ist eher klein.
Wenn es dabei bleibt kannst du ruhig alles komplett im Programm verwalten.

 

[goodcat]

Also am Anfang werden es um die 300-400 DB Sätze sein. Aber es wird über die Jahre wachsen, Bis 20000 Einträge erreicht sind kann es dauern. Aber keine Ahnung wann die Magische Grenze erreicht ist und mir das Ding um die Ohren fliegt ... Und dann alles umändern wird kaum funktionieren.. Dann lieber jetzt wo es noch entwickelt wird.

Ich tendiere schon in die Richtung die Daten abzurufen wenn die benötigt werden. Das Problem was ich habe ist das jedes Fenster also jedes JInternalFrame die Daten im Model hält. Das sind pro Fenster 10 DB abfragen, wenn ich jetzt 5 Fenster aufhabe und in einem Fenster ein refresh starte wollen alle Fenster neue Daten haben, d.h. es sind nicht mehr 10 Abfragen sondern 50.

 

[vanny]

Ok, also langsam wirds suspekt

Wenn du mit InternalFrames arbeitest, dann arbeitest du doch mit nur einem Programm, und zwar mit dem, in dem die InternalFrames laufen.
Was spricht also dagegen, wenn alle die selben Daten benutzen?

Stichwort MVC ist hier vielleicht angebracht.

Wenn du allerallerdingensdings mit mehreren Programminstanzen arbeitest, könntest du ja ein client<-->server Konstrukt benutzen und die Datenverwaltung auf eine zentrale Stelle auslagern.

Mir is halt langsam nich mehr klar, was du da eigentlich umsetzt.

Gruß Vanny

 

[goodcat]

Also MVC benutze ich bereits. Und die Daten hatte ich (bevor ich diesen Thread eröffnet habe) alle in einem zentralen Model liegen. Beim Programmstart habe ich die Daten geholt und nur noch aktualisiert.

Aber ich wurde darauf aufmerksam gemacht das es keinen sinn macht und es besser wäre die Daten nur zu laden wenn ich Sie benötige und danach wieder vom GC löschen zu lassen. Deshalb kümmert sich jetzt nur noch das Model des entsprechenden JInternalFrames um das instanzieren der Objekte und abrufen der Daten aus der DB. Vorher lagen die Daten immer in einem zentralen Model egal ob sie benötigt wurden oder nicht.

Und es könnte ja sein das in ein paar Jahren die DB so krass wächst das es zu Speicherproblemen kommt.

Kann man denn pauschal die Frage beantworten ab welcher Anzahl an Datensätzen diese Art der Datenhaltung (also alle Daten die benötigt werden oder auch nicht aus der Datenbank abrufen und in einem Model speichern) keinen sinn mehr macht bzw. es zu Speicherproblemen kommen kann. Obwohl "XHelp" das als nicht besonders sinnvoll beschrieben hat.

 

[XHelp]

also ab 13541,7 Objekte lohnt es sich nicht mehr. :joke:
Es kommt nicht so sehr auf das die Anzahl, als auf den Sinn. Wenn du es wirklich brauchst, dann brauchst du es eben. Aber ob du es in diesem konkretem Fall brauchst oder nicht, lässt sich natürlich pauschal nicht beantworten.