Hallo zusammen!
Ich wünsche allen ein gutes neues Jahr!
Ich greife diesen Thread nochmal auf da ich ein ähnliches Problem habe.
Ich muß mit meiner Gruppe eine Zwischenschicht programmieren um eine horizontal verteilte Datenbank zu realisieren.
Das ist ein stark vereinfachtes System und soll nicht den vollen Funktionsumfang von SQL-Anweisungen abbilden. Es sollen "einfache" Queries aller SELECT * FROM XY ODER BY Z aber auch etwas komplexere wie einige JOINs möglich sein.
Technische Infrastruktur:
3 Oracle Server (physikalisch getrennte Maschinen S1-S3)
Hintergrund:
Der Inhalt einer Tabelle wird auf alle drei Server verteilt gespeichert. Bedeutet Row1-20 auf S1, Row21-20000 auf S2, Row20001-30000 auf S3, Row30001-32000 auf S2, usw.
Die Struktur (CREATE) der Tabelle ist auf allen Servern identisch, Contraints werden soweit nötig (z.B. ForeignKey) werden außerhalb der Oracle Instanzen geprüft, da evtl. eine Referenz auf einem anderen Server gespeichert ist.
Soweit mir bekannt gibt es keine Möglichkeit "einfache" (ohne zusätzliche Ebenen) Oracle Server zu überreden sich mit den anderen Servern auszutauschen.
Ein einfaches SELECT * FROM XY erzeugt bei mir ein PseudoResultSet das die ähnliche Arbeitsweise beim auslesen durch den Anwender hat wie Salter B mit der Wrapperklasse beschreibt. Ich führe auf allen drei Servern das SELECT aus und bekomme drei ResultSets welche ggf. sortiert sind und gehe iteriere strukturiert über diese so das der Anwender nichts bemerkt.
ABER wenn ich jetzt die JOINs noch machen will, also zwei Tabellen (jetzt 2 verschiedene ResultSets) joinen, dann kann ich wohl wie ich gesehen habe die Klasse JoinRowSet nutzen, aber dafür benötige ich je ein ResultSet für jede Tabelle wenn ich es richtig verstanden habe.
Und da ist das große Problem:
Jetzt muß ich aus den 2x3 ResultSets (3 weil eines von jedem Server um eine gesamte Tabelle darzustellen) 2x1 ResultSets machen.
Muß sozusagen gesamtSet=Set1.append(Set2.append(Set3))) durchführen.
Habe aber keine Methoden gefunden und auch keine Klassen gefunden die eine Row in dem Set darstellen oder wie ich eine ganze Zeile als Struktur auslesen kann um diese dann ggf. in eine riesige ArrayList o.ä. zu packen. Ich wollte eigentlich nach Möglichkeit gerne die ResultSet Klassen weiter nutzen da scheinbar die Verbindung zur physikalischen DB weiter besteht und die Daten erst tatsächlich bei Bedarf gelesen werden, das ResultSet scheinbar "nur" eine Struktur des Ergebnisses darstellt. Damit könnte ich Speicher sparen oder gar bei xMillionen Sätzen ein OutOfMemory verhindern.
Hat jemand eine Idee wie ich n-ResultSets zu einem zusammen fassen kann? Die Struktur aller Sets ist identisch das alle die gleiche Tabellen (Struktur) abfragen, halt nur auf n-Servern.
Oder gibt es Frameworks die man nutzen könnte.
Vielen Dank!
Grüße
pada
PS: Hab so viel geschrieben damit es möglichst deutlich wird.
Ich wünsche allen ein gutes neues Jahr!
Ich greife diesen Thread nochmal auf da ich ein ähnliches Problem habe.
Ich muß mit meiner Gruppe eine Zwischenschicht programmieren um eine horizontal verteilte Datenbank zu realisieren.
Das ist ein stark vereinfachtes System und soll nicht den vollen Funktionsumfang von SQL-Anweisungen abbilden. Es sollen "einfache" Queries aller SELECT * FROM XY ODER BY Z aber auch etwas komplexere wie einige JOINs möglich sein.
Technische Infrastruktur:
3 Oracle Server (physikalisch getrennte Maschinen S1-S3)
Hintergrund:
Der Inhalt einer Tabelle wird auf alle drei Server verteilt gespeichert. Bedeutet Row1-20 auf S1, Row21-20000 auf S2, Row20001-30000 auf S3, Row30001-32000 auf S2, usw.
Die Struktur (CREATE) der Tabelle ist auf allen Servern identisch, Contraints werden soweit nötig (z.B. ForeignKey) werden außerhalb der Oracle Instanzen geprüft, da evtl. eine Referenz auf einem anderen Server gespeichert ist.
Soweit mir bekannt gibt es keine Möglichkeit "einfache" (ohne zusätzliche Ebenen) Oracle Server zu überreden sich mit den anderen Servern auszutauschen.
Ein einfaches SELECT * FROM XY erzeugt bei mir ein PseudoResultSet das die ähnliche Arbeitsweise beim auslesen durch den Anwender hat wie Salter B mit der Wrapperklasse beschreibt. Ich führe auf allen drei Servern das SELECT aus und bekomme drei ResultSets welche ggf. sortiert sind und gehe iteriere strukturiert über diese so das der Anwender nichts bemerkt.
ABER wenn ich jetzt die JOINs noch machen will, also zwei Tabellen (jetzt 2 verschiedene ResultSets) joinen, dann kann ich wohl wie ich gesehen habe die Klasse JoinRowSet nutzen, aber dafür benötige ich je ein ResultSet für jede Tabelle wenn ich es richtig verstanden habe.
Und da ist das große Problem:
Jetzt muß ich aus den 2x3 ResultSets (3 weil eines von jedem Server um eine gesamte Tabelle darzustellen) 2x1 ResultSets machen.
Muß sozusagen gesamtSet=Set1.append(Set2.append(Set3))) durchführen.
Habe aber keine Methoden gefunden und auch keine Klassen gefunden die eine Row in dem Set darstellen oder wie ich eine ganze Zeile als Struktur auslesen kann um diese dann ggf. in eine riesige ArrayList o.ä. zu packen. Ich wollte eigentlich nach Möglichkeit gerne die ResultSet Klassen weiter nutzen da scheinbar die Verbindung zur physikalischen DB weiter besteht und die Daten erst tatsächlich bei Bedarf gelesen werden, das ResultSet scheinbar "nur" eine Struktur des Ergebnisses darstellt. Damit könnte ich Speicher sparen oder gar bei xMillionen Sätzen ein OutOfMemory verhindern.
Hat jemand eine Idee wie ich n-ResultSets zu einem zusammen fassen kann? Die Struktur aller Sets ist identisch das alle die gleiche Tabellen (Struktur) abfragen, halt nur auf n-Servern.
Oder gibt es Frameworks die man nutzen könnte.
Vielen Dank!
Grüße
pada
PS: Hab so viel geschrieben damit es möglichst deutlich wird.
