Verzeichnis synchronisieren

[Fohnbit]

Hallo,

ich zerbreche mir gerade den Kopf, weil ich 2 Datenbanken synchronisieren muss.
Ich bekomme und schreibe die Daten über eine API.

DB1 soll auf DB2 übertragen werden. Die Struktur ist wie ein Fileverzeichnis mit Ordnern
DB1:
root
- sub1
- sub 2
-sub-sub 1
-sub-sub 2

Selbes gilt für die DB2.
jedoch hat jede eine eigene ID. Ich habe mit bei DB1 2 Felder hinzugefügt, wo ich nach neu erstellen die ID von DB2 schreibe:
DB1:
root;id;parent_id;db2_id;db2_parent_id
sub1;id;parent_id;db2_id;db2_parent_is

DB2:
root;id;parent_id
...


Es soll nur nach DB2 gesyncht werden.
Ich habe zuerst mal alle Einträge in DB2 gelöscht, die nicht in DB1/db2_id stehen ... da diese tote Links wären
aber das Problem: lösche ich eine sub1 .. werden auch die sub-sub mit gelöscht und das wiederum müsste ich im Code erfassen

Daher meine Frage:
Hat jemand ein gutes Beispiel wie man das macht?
Neue Einträge und updaten müsste bei DB2 unterschieden werden im Code.
Ich habe halt immer nur ID und Parent ID zur Verfügung.

Vielen dank!

 

[mihe7]

Manche DBS bringen ein entsprechendes Feature (Replication) selbst mit. DB-Trigger wären auch eine Option.

Ansonsten wäre die Frage, ob die IDs denn unterschiedlich sein müssen? Falls nein, ist die Sache fast schon trivial.

Falls ja, musst Du lediglich dafür sorgen, dass Du Identität zwischen den Sätzen herstellst. Das kann man via UUIDs machen (hier eher suboptimal) aber auch durch Hinzufügen eines ID-Felds wie Du es schon gemacht hast.

Allerdings würde ich DB2 als Erweiterung ansehen, d. h. DB1 sollte von DB2 nichts wissen. Die DB1-ID würde ich dem entsprechend in DB2 aufnehmen, nicht umgekehrt (kann natürlich sein, dass Du andere Anforderungen hast, aber nach Deiner Beschreibung...)

Für das Mitführen der Parent-ID der anderen Datenbank sehe ich keinen Grund. Es wäre beim Einfügen einfach dafür zu sorgen, dass die Beziehung parent_id -> id auch in DB2 gilt. Das Löschen innerhalb von DB2 funktioniert dann genauso wie in DB1.

Bzgl. der Synchronisation muss Du lediglich die entsprechende DB2-ID ermitteln: SELECT id FROM tabelle WHERE db1_id = :id. Das gilt sowohl fürs Einfügen von Sub-Sätzen - DB2-ID anhand der DB1-Parent-ID ermitteln - als auch fürs Löschen - DB2-ID anhand der DB1-ID ermitteln.

 

[Fohnbit]

Hallo,

danke für die Infos.

Es geht konkret
DB1: ERP System (postgres Datenbank) (directer SQL Query)
DB2: Magento 2 Webstore (mysql Datenbank) (Zugriff via API)

Ich muss in der DB1 ja die Verlinkung zu DB2 halten, da beide ja nicht in direkter Relation stehen.

Ich denk der Knackpunkt ist eine saubere rekursive Funktion.

 

[mihe7]

Ich muss in der DB1 ja die Verlinkung zu DB2 halten, da beide ja nicht in direkter Relation stehen.

Der Schlussfolgerung kann ich nicht folgen:

DB1: id;parent_id
DB2: id;parent_id;db1_id

In DB2 besteht zwischen id und db1_id ein 1:1-Mapping -> db1_id ist eineindeutig einer id zugewiesen. Ich nehme im folgenden an, dass die id-Spalten automatisch hochgezählt werden.

Wenn in DB1 ein Satz eingefügt wird, erfolgt eine Mitteilung an die zweite DB. Nehmen wir mal an, die API würde eine Funktion insert(relatedId, relatedParentId) enthalten:

1. Ermitteln der DB2-ID des Eltern-Satzes:
x := (SELECT id FROM tabelle WHERE db1_id=:relatedParentId)
2. INSERT INTO tabelle(parent_id, db1_id) VALUES (x, :relatedId)

Auf DB1-Seite muss dann nichts mehr aktualisiert werden, denn DB1 weiß im besten Fall überhaupt nicht, dass DB2 existiert bzw. wie DB2 die Daten organisiert.

Wird in DB1 ein Satz gelöscht, geht man analog vor. Nehmen wir mal an, die API würde eine Funktion remove(relatedId) enthalten:

1. Ermitteln der DB2-ID:
x := (SELECT id FROM tabelle WHERE db1_id=:relatedId)
2. Löschen des Satzes mit ID x inkl. seiner Kinder: deleteTree(x)

deleteTree(id) - ab hier taucht DB1 gar nicht mehr auf:

1. Kinder raussuchen
liste := (SELECT id FROM tabelle WHERE parent_id = :id)
2. Die Bäume aller Kinder löschen:
for each x in liste: deleteTree(x)
3. Jetzt sind die Kinder weg, braucht man nur noch die Wurzel zu killen:
DELETE FROM tabelle where id = :id

Das Vorgehen der Funktion deleteTree ist vom Prinzip her in beiden DBs identisch.