Effiziente Verwaltung der Objekten und Unterobjekten

[disconnectus]

Hallo Zusammen,

ich habe sehr viele Objekten in meinem Programm und diese Objekte haben auch sehr viele referenzierte Objekten. Sogar diese referenzierten Objekte haben auch referenzierte Objekten.
Die Komplexität des Programms ist sehr hoch und steigt immer. Wie soll ich vorgehen?

Mein eigentliches Problem ist komplex, deswegen möchte ich alles anhand eines einfachen Beispiels erläutern:

Ich habe alle Gebäude in einer Stadt in meinem Programm. Diese Gebäude haben sehr viele Eigenschaften. Die Informationen sind in den mehreren Tabellen gespeichert.
Ich habe eine Tabelle mit den wichtigsten Eigenschaften der Gebäuden. Ich lese sie wie folgt:

while (ResultsetofHouses.next()) {
  House house = new House ();
  house.setID(ResultsetofHouses.getInt ("id"));
  house.setNumberofFloors(ResultsetofHouses.getInt("floors"));
  house.setColor(ResultsetofHouses.getString("color"));

// Sehr viele eigenschaften noch//

  House.StaticListofHouses.add(house);
}

Ich muss aber die Garage-Eigenschaften der Gebäude (Nicht alle Gebäude haben Garage) von einer anderen Tabelle lesen. Ich habe in deiser Tabelle nur die ID der Gebäude und mehrere Garage-Eigenschaften der Gebäude. Ich gehe wie folgt vor:

while (ResultsetofGarage.next()) {
  for (int i = 0; i < StaticListofHouses.size(); i++) {
    if (House.StaticListofHouses.get(i).getID.equals(ResultsetofGarage.getInt ("house_id"))
     {
        Garage garage = new Garage ();
        garage.setSize(ResultsetofGarage.getFloat("size"));

  // Mehrere Eigenschaften der Garage//

       House.StaticListofHouses.get(i).setGarage(garage);

    }
  }
}

Ich habe noch mehrere Unterobjekten wie "Garage" und machmal diese Untereobjekten haben auch Unterobjekte.
Wenn ich etwas suchen muss, mache ich auch sehr viele Aufwand. Ich benutze immer mehrmals ineinander geschachtelte Schleifen.

Wie kann ich effizienter Programmieren? Kann jemand mir bitte Helfen.

Danke im Voraus

 

[kneitzel]

Wichtig wäre erst einmal, was Du mit den Daten überhaupt machen willst. Wenn Du alle Daten ständig brauchst, dann musst Du diese im Speicher halten. Wenn jedoch nur hin und wieder mit einzelnen Objekten etwas gemacht wird, dann ist das weniger wichtig.

Und Du kannst Dich oft darauf beschränken, die wichtigen Dinge zu laden. Also brauchst du die Garage ständig? Oder kannst Du die im Bedarfsfall nachladen?

Und was für Operationen führst Du so aus? Ist es wichtig, dass Du jedes Objekt nur einmal im Speicher hast? Wenn ich also ein Tool zur Verwaltung von irgendwas schreibe, dann kann mir das egal sein. Du kannst ein Fenster für einen Gegenstand öffnen und den editieren. Bei Schreibvorgängen und so muss ich eh sicher gehen, ob es nicht doch noch Änderungen in der Zwischenzeit gab. Aber ob dies nun ein anderer Client war oder ein anderes Fenster innerhalb meines Programmes mag evtl. egal sein. Wenn man sowas weiss, dann kann man es auch noch einmal vereinfachen. Ansonsten braucht man halt eine zentrale Erfassung und beim Laden eines Objekts wird geprüft, ob dieses schon geladen ist. Ist soweit ganz einfach, aber du brauchst ja ggf auch irgend eine Lösung bezüglich Speicher wieder freigeben. Das wird dann schon schwerer und auch fehleranfälliger.

Bezüglich der Suchen - Du kannst ja immer noch mehrere Maps erstellen. Wenn Du also gewisse Suchen ständig hast, dann packst Du die Daten einmal in eine Map und schon kannst Du die Map befragen statt verschachtelte Schleifen zu verwenden.

 

[Joose]

Du könntest einen OR-Mapper verwenden, richtig konfiguriert ladet dieser dir alle gewünschten Daten (auch referenzierte Objekte usw.).
In Java ist Hibernate weit verbreitet.

Musst du immer alle Objekte vollständig laden? Ansonsten würde ich zu "LazyLoading" raten. Sprich du ladest vorerst nur die Häuser mit allen Eigenschaften, willst du dann ein Haus inkl der Garagen verwendet werden diese dynamisch nachgeladen.
Der Vorteil: Deine Applikation startet schneller (falls bisher zu Beginn alles geladen wird) und verbraucht auch weniger Speicher da eben wirklich nur die Daten gelesen werden, welche du brauchst. Dadurch kannst du auch gezielt für ein Haus lesen und sparst dir die verschachtelten Schleifen.
Der Nachteil: Etwas komplizierter umzusetzen, sobald du ein Objekt brauchst müssen vielleicht erst Daten nachgeladen werden was etwas Wartezeit verursacht (je nach Menge der Daten)

Um deinen bisherigen Code zu "optimieren": Anstatt mehrere for-Schleifen zu verschachteln Schreibe dir eine Methode, welche anhand der "house_id" das richtige House Objekt aus der Liste sucht. Oder speichere dir die House Objekte in einer Map, wobei die ID als Key fungiert.

 

[disconnectus]

Vielen Dank für die Schnelle Antworten.

Sorry. Ich sollte noch mehr über mein Programm informieren.
Mein Programm lädt mehrere hunderttausende von Daten aus einer MySQL-Datenbank und bringt sie in einem Format welche von anderen Programmen gelesen werden können.

Mit mehreren Annahmen und verschiedene Berechnungen erfüllt mein Programm die Datenlücken, generiert selbst neue Eigenschaften für die Gebäude, berechnet selbst irgendwelche Informationen zusätzlich aus der Vorhandene Informationen und erstellt am Ende eine Ausgabe für die anderen Programme. Das wird aber alles auf einmal gemacht.

Nachdem ich ausführen drücke wird alles auf einmal gemacht. Neue Daten generiert, Daten-Lücken erfüllt usw. Ich meine, ich habe keine Clients oder ich bearbeite die Daten nicht einzeln mit Hilfe von eine GUI usw. Ich lade sie auf einmal im Speicher, bearbeite sie und gebe sie aus.
Ich habe keine Speicherprobleme. Ich denke alles auf einmal Laden ist einfacher für mich aber erzeugt leider sehr viele Komplexität wegen zueinander referenzierte Objekten.

Die Daten-Ausgabe wird nicht in die MySQL-Datenbank gemacht. Lokale ausgaben auf den Datenträger werden erzeugt. Ich schreibe nie in die Datenbank.

Ein Beispiel Ausgabe wäre neue Szenarien zu erstellen. Ich kann meine Annahmen konfigurieren, meinen Code schnell anpassen und damit neue Szenrien erstellen. Z. B. Was wäre wenn alle Gebäude mindestens einen Parkplatz hätten und das Programm vorbereitet eine Ausgabe (Inputdaten für die Andere Programme) als ob alle Gebäude mindestens einen Parkplatz hat.

 

[artchi]

Dein Problem verstehe ich ehrlich gesagt nicht. Wenn du ausreichend Speicherplatz hast und die Rechenzeit zweitrangig ist, was willst du da optimieren? Optimiert wird in der Regel dann, wenn man es muss, und nicht weil es das Gewissen drückt.

Du scheinst optimale Bedingungen zu haben. Die würde ich auch ausnutzen und lieber auf das Ergebnis hin arbeiten und nicht optimieren. Optimieren macht nämlich Code für gewöhnlich schlechter wartbar und weniger verständlich.

 

[Joose]

.... was willst du da optimieren? Optimiert wird in der Regel dann, wenn man es muss, und nicht weil es das Gewissen drückt.

Folgenden Code könnte man eben noch optimieren, da diese for-Schleife innerhalb der while-Schleife zum ResultSet auslesen unnötig ist.

while (ResultsetofGarage.next()) {
  for (int i = 0; i < StaticListofHouses.size(); i++) {
    if (House.StaticListofHouses.get(i).getID.equals(ResultsetofGarage.getInt ("house_id"))
     {
        Garage garage = new Garage ();
        garage.setSize(ResultsetofGarage.getFloat("size"));

  // Mehrere Eigenschaften der Garage//

       House.StaticListofHouses.get(i).setGarage(garage);

    }
  }
}

Und entsprechend optimiert wird dieses Codestück auch lesbarer und wartbarer

 

[mrBrown]

Welche Daten haben denn überhaupt Referenzen auf andere?
Soweit ich's verstanden hab, ists "Baumartig" aufgebaut, und jedes Objekt kennt jeweils nur die Kindobjekte?

Von der Komplexität her ist das recht simpel, das komplexeste dürfte da deine Art und Weise des Ladens sein, und das könnte man vermutlich vereinfachen, sowohl von der Komplexität, als auch von der Performance.
Statt Listen gingen Maps, anstatt alles auf einmal zu Laden wie von Joose schon gesagt LazyLoading, gibt bestimmt auch noch andere Stellen an denen man ansetzen könnte...

 

[AndiE]

Ich möchte hier auf eine Antwort verweisen, die ich selbst bekommen habe. Es löst zwar nicht die Performance, ich würde aber die Datensätze in Objekte fassen und die Funktionalität in den Objekten kapseln:

while((Garage Hausgarage) ResultofGarage.next)){
if(HausListe.Suche(Hausgarage.HoleId){
Garage garage= new garage();
Hausliste. HimzufügenGarage(garage);
}
}

Ich finde, dass erhöht die Wartbarkeit und die Lesbarkeit.

Grundsätzlich könnte ich mich fragen, ob man die Datenmenge mit dem Fokus auf Stadtgebiete oder Straßen eindämmen kann. Unsere Stadt ist sicher klein mit 8000 Einwohnern und 4000 Grundstücken. Ich würde die Anzahl der Gebäude und -teile vielleicht auf 10000 schätzen. Aber die stehen wieder in einer Anzahl Bebauungsgebiete mit einer Anzahl Straßen. Das ist so ähnlich auch in größeren Städten so.Ich denke, es ist recht unwahrscheinlich, dass eine Garage zu einer Wohnung sich in einer anderen Straße befindet. Ich finde, es spricht auch nichts dagegen, die eingelesenen Daten straßen- oder wohngebietsweise auszugeben.

 

[Jardcore]

10000 ist keine große Menge für einen PC

Ich würde dir auch Empfehlen da objektorientiert dranzugehen.
Also Objekte für Gebäude, Garage, Grundstück, Wohnung, Bebauungsgebiet, Stadt.

Eine Stadt X mit N Einwohnern hat Y Bebauungsgebiete, in diesem gibt es Z Grundstücke und auf diesen stehen M Gebäude mit J Wohnungen und K Garagen. Ein Gebäude steht darüber hinaus noch an einer Straße S.

Mir gehen die guten Buchstaben aus

Und Maps sind nicht das Allheilmittel, auch diese haben einen gewissen Overhead, wenn man diese ohne LazyLoading benutzt, kann dass bei Datensätzen >1m schon den Java Heap überfüllen.

 

[disconnectus]

Vielen Dank nochmal.

Ich habe ungefähr 60.000 Gebäude. Ich kann sie Straßenweise oder Gebietweise kategorisieren. Was ist aber wirklich der Vorteil Gebiete zu haben? Weniger suchaufwand?

Was meint ihr, wenn ihr sagt, dass ich Objekt orientiert vorgehen soll? Ich dachte, ich habe sie Objekt orientiert programmiert. In meinem Beispiel sind Garagen und Gebäude Objekte.
Mein ihr, ich soll mehr Objekte (Gebäude, Garage, Grundstück, Wohnung, Bebauungsgebiet, Stadt) haben?

Eine andere Frage ist, wie soll ich die Objekte zusammenhängen? Ich speichere alle Gebäude in einer Static-List und danach hänge ich ein Garage-Objekt zu entsprechende Gebäude-Objekt. Meint ihr statt die Objekte miteinander aufzuhängen, kann ich Maps benutzen? Könnt ihr mir bitte Anhand dieses Beispiels kurz beschreiben, welche nützliche Maps ich erstellen könnte?

 

[mrBrown]

Dein oberstes Objekt wäre dann sowas wie "Stadt", hätte als Variablen alle Dinge, die in deinem Kontext zu der Stadt gehören, und eine List/Map von z.B. "Gebiet". Ob List oder Map würd ich vom Kontext abhängig machen, wenn du nur über Gebiete iterierst, und nie einzelne ansprichst, nimm ne List, wenn du die anhand von IDs ansprichst ne Map.

Gebiet hat dann wiederum als Variablen alle Dinge, die zum Gebiet gehören und List/Map von Gebäuden (oder auch erst ne List/Map von Straßen, und die dann Gebäude).

Gebäude haben dann neben den sonstigen Dingen ne List/Map von Wohnungen, die von Garagen usw...

Die Maps haben jeweils als key die ID und als value das Objekt, die Map mit Garagen wäre dann Map<GaragenID,Garage>, macht aber nur Sinn, wenn du die irgendwann über IDs ansprichst.


Füllen kannst du das ganze mit LazyLoading, also erst wenn du Bspw für eine Wohnung alle Garagen brauchst, lädst du diese für diese eine Wohnung.


Das hängt aber auch sehr vom Kontext ab, ob die Änderungen Sinn machen...

 

[Joose]

Was ist aber wirklich der Vorteil Gebiete zu haben? Weniger suchaufwand?

Ja, je genauer du dein Suchgebiet spezifizieren könntest umso einfacher findest du es natürlich. Hier muss man aber natürlich auch Nutzen gegen Aufwand abwiegen.

Was meint ihr, wenn ihr sagt, dass ich Objekt orientiert vorgehen soll?

Ich bin mir nicht sicher was andere damit meinen. Laut deinem Beispiel Code verwendest du die objektorientierte Programmierung schon.
Ich glaube manche haben sich nicht alles komplett (bzw. aufmerksam) durchgelesen

Ich Speicher alle Gebäude in einer Static-List und danach hänge ich ein Garage-Objekt zu entsprechende Gebäude-Objekt. Meint ihr statt die Objekte miteinander aufzuhängen, kann ich Maps benutzen?

Das wäre eine Möglichkeit.
Bezogen auf dein gepostetet Codestück:

while (ResultsetofGarage.next()) {
   for (int i = 0; i < StaticListofHouses.size(); i++) {
     if (House.StaticListofHouses.get(i).getID.equals(ResultsetofGarage.getInt ("house_id")) {
       Garage garage = new Garage ();
       garage.setSize(ResultsetofGarage.getFloat("size"));
       // Mehrere Eigenschaften der Garage//
       House.StaticListofHouses.get(i).setGarage(garage);
     }
   }
}

Die Verschachtelung von while und for Schleife könnte man sich mittels Map ersparen.

Map<Integer, House> houseMap = .....

while (ResultsetofGarage.next()) {
   // Garage Objekt erzeugen
   Garage garage = new Garage ();
   garage.setSize(ResultsetofGarage.getFloat("size"));
 
   // passende House Objekt suchen
   House houseForGarage = houseMap.get(ResultsetofGarage.getInt ("house_id"));
   houseForGarage.add(garage);
}

Die Map ermöglicht dir direkt über die "house_id" auf das entsprechende Objekt zuzugreifen.
Vorrausgesetzt natürlich es wurde auch geladen sonst greifst du auf etwas nicht vorhandenes zu -> Fehler

 

[nvidia]

Wie kann ich effizienter Programmieren? Kann jemand mir bitte Helfen.

Naja, anstelle durch einzelne Resultsets zu laufen kann das Select-Statement so formuliert werden das ein ResultSet entsteht in dem jede Zeile die benötigten Informationen enthält um dann daraus seine Hausobjekte mit Unterobjekten zu bauen. Soll heißen da alle Daten zu Häusern wohl eindeutig über die Haus-ID angesprochen werden kann man die Daten pro Haus in eine große Zeile mit einem SQL-Join über die Haus-ID lesen und dann jede Zeile in ein Haus-Objekt übersetzen.

Um schnell Häuser mit bestimmten Eigenschaften zu finden muss dann über die Liste eine entsprechende Datenstruktur gebaut werden die einem das erlaubt. Die gehen von einfach bis kompliziert, sehr einfach wären pro Eigenschaft ein binärer Suchbaum, jeden Baum befragen und am Ende eine Auswertung über eine Bitmap um Duplikate rauszuwerfen. Es gehen aber auch mehrdimensionale Strukturen wie z.B. ein KD-Tree. Letzterer funktioniert sogar für bestimmte Bereichsanfrangen.

Eine andere Variante, wenig Objektorientiert, wäre der Struktur eines Entity Component Systems ähnlich, zumindest dem Component Teil. Die einfachste Variante ist du bildest alle Haus-IDs auf eindeutige int-Werte im Bereich [0, #GesamtHäuser) ab, dann hast du für jede Componente, z.B. Haus, Garage, usw. ein Array. Der eindeutige int-Wert dient dann als Schlüssel um in jedem Array nach der Komponente zu schauen. Das ist wie eine Map aber wesentlich speichereffizienter. Und dann kommt es hier aber auch wieder auf deine Verarbeitung an, willst du eine Liste von Häusern mit bestimmten Eigenschaften dann ist es auch hier sinnvoll mit einer Index-Datenstruktur auf den einzelnen Arrays zu arbeiten. Alternativ wird die Liste komplett durchgejuckelt und die Verarbeitung erfolgt in den sog. Systemen, die je nach vorhandenen Eigenschaften (es wird in jedem Array geschaut ob es einen Eintrag zum Index gibt) das entsprechende Objekt verarbeiten.

Wenn du das dann irgendwie wie oben gebaut hast dann hast du im Prinzip eine ziemlich spezialisierte Datenbank für deine Anwendung geschrieben, vll. sollte geschaut werden ob man dann nicht direkt mit einer Datenbank arbeiten kann. Es gibt Datenbanken die laufen komplett im Hauptspeicher und in die kann z.B. für jedes Haus der Gesamtdatensatz (wie oben beschrieben) eingefügt werden. Die effizienten Index-Operationen und Datenstrukturen sind dann schon vorhanden und die Datenbank kann mit SQL abgefragt werden. Und damit sich SQL hübscher schreiben lassen kann dafür z.B. http://www.jooq.org/legal/licensing#databases mit einer der gelisteten OpenSource-Datenbanken verwendet werden, kostenfrei für nicht kommerzielle Zwecke.

 

[disconnectus]

   // passende House Objekt suchen
   House houseForGarage = houseMap.get(ResultsetofGarage.getInt ("house_id"));
   houseForGarage.add(garage);
}

Vielen Dank @Joose . Ich möchte meinem Programm entsprechend ändern.


Ich habe aber eine Frage bezüglich der Datenzuweisung:

Wenn ich ein neues House-Objekt (houseForGarage) erstelle und von „hausMap“ ein House-Objekt zu diesem neuen House-Objekt zuweise. Danach zu diesem neuen Objekt ein Garage-Objekt hinzufüge.

Das ursprüngliche House-Objekt in meinem Map wird nicht ein Garage-Objekt bekommen oder irre ich mich?
Ich denke, nur das neue erstellte House-Objekt wird ein Garage-Objekt bekommen und das hilft uns nicht weiter.

 

[mrBrown]

Wenn ich ein neues House-Objekt (houseForGarage) erstelle und von „hausMap“ ein House-Objekt zu diesem neuen House-Objekt zuweise. Danach zu diesem neuen Objekt ein Garage-Objekt hinzufüge.

Das ursprüngliche House-Objekt in meinem Map wird nicht ein Garage-Objekt bekommen oder irre ich mich?
Ich denke, nur das neue erstellte House-Objekt wird ein Garage-Objekt bekommen und das hilft uns nicht weiter.

Es wird kein neues Objekt erzeugt? 'houseForGarage' ist nur eine Referenz auf das Objekt, auf das auch die Map zeigt.

 

[disconnectus]

Ok, jetzt verstehe ich.

 

[AndiE]

Meine Aussage ging von der Kapselung aus. Ein Objekt Stadt enthält mehrere Wohngebiete. Jedes Wohngebiet "kennt seinen Namen, seinen Typ und ein Listen der in ihm enthaltenen Straßen. Jede Straße kennt ihren Namen und eine Liste der daran gelegenen Grundstücke. Jedes Grundstück seine darauf gebauten Gebäude. Jedes Gebäude kennt die Gebäudeteile, die in ihm enthalten sind. Gehören zu einem Grundstück mehrere Teilgrundstücke, kann man auch das modellieren. Der Vorteil ist, du kannst ein Haus direkt über seine Postadresse ansprechen oder über die Lage. Du kannst hier auch die Vererbung nutzen, denn Wohnhäuser, Gewerbehallen und Garagen sind alles Gebäude.

 

[JStein52]

vll. sollte geschaut werden ob man dann nicht direkt mit einer Datenbank arbeiten kann. Es gibt Datenbanken die laufen komplett im Hauptspeicher und in die kann z.B. für jedes Haus der Gesamtdatensatz (wie oben beschrieben) eingefügt werden.

Hier wurde ja vieles geschrieben wie man die Daten möglichst schön in Datenstrukturen im Speicher laden kann. Aber wir wissen nichts darüber was dann mit diesen Daten gemacht wird und vor allem wie. Und ich finde die Idee von @nvidia mit einer Datenbank im Hauptspeicher überlegenswert. Du kannst doch deine Datenergänzungen, Suchen, etc. auch mit SQL machen und am Ende diese geänderte Datenbank rausschreiben. Oder hast du schon alles fertig und willst wirklich nur noch ein bisschen optimieren. Und dann wäre in der Tat die Frage warum denn ?

 

[Joose]

Oder hast du schon alles fertig und willst wirklich nur noch ein bisschen optimieren. Und dann wäre in der Tat die Frage warum denn ?

Weil er mehrfach verschachtelte Schleifen hat und diese eben nicht schön zu lesen und erweitern sind.

Beispiel:

while (ResultsetofGarage.next()) {
  for (int i = 0; i < StaticListofHouses.size(); i++) {
    if (House.StaticListofHouses.get(i).getID.equals(ResultsetofGarage.getInt ("house_id"))
     {

Die while-Schleife an sich kann man nicht ändern, er will ja alle gerade gelesene Garagen in Objekte umwandeln.
Die for-Schleife hingegen könnte man sich durch eine Map ersparen oder wenigstens die Suche nach dem richtigen House Objekt in eine Methode auslagern
Die Laufzeit wird sich dadurch vielleicht nicht unbedingt ändern (nicht besser, aber auch nicht schlechter) aber der Code wird lesbarer

while (ResultsetofGarage.next()) {
   House houseOfGarage = getHouse(ResultsetofGarage.getInt("house_id"));
   if(houseOfGarage != null) {
     ....