Komplexes Reporting Problem

[chuanito]

Halli hallo,

Ich bin gerade daran eine Reporting Engine für eine internet Logistik Applikation zu konzepieren.

Die Reports, meistens nur ein Report, wird aus mehreren Tabellen erstellt die jeweils bis zu 6Mio
Records haben.

Diese Daten wiederum haben aber immer ein "Last Updated"-Feld womit nicht immer die ganzen
Daten eingelesen werden müssen.

Welcher Ansatz wäre von euch her interessant und um das Problem zu lösen.

Ich habe mir da einige Gedanken zu einem ReportManger gemacht, der mehrere Threads aufmacht
und dann die SQL Statements absetzt. Es werden nicht einfach Felder ausgelesen sondern die Applikation
muss eine gewisse Bussiness Logic einbringen...z.B

Um zu berechnen ob eine Fracht angekommen ist, werden gewisse Status-Nachrichten auf ihre Abhängigkeiten
überprüft und dann als "Noch offen" oder "Am Ziel-Ort" angekommen markiert.

Der Schlüssel für diese Berechnungen sind immer die Fracht ID's die jeweils eine Sendung representieren.

Um zu verhindern, dass die Report Engine mit mehreren Threads die gleiche Sendung verarbeitet werden
in der Reporting Tabelle gewisse Felder mit einem Boolean auf gelockt gesetzt und erst wieder de-lockt wenn
alle Sendungen durch sind.


Habt ihr Vorschläge wie ich die Aufgabe besser lösen kann?

 

[Bleiglanz]

Ich habe mir da einige Gedanken zu einem ReportManger gemacht, der mehrere Threads aufmacht
und dann die SQL Statements absetzt.

das bringt i.A. gar nichts, wozu "mehrere Threads"?

Um zu verhindern, dass die Report Engine mit mehreren Threads die gleiche Sendung verarbeitet werden
in der Reporting Tabelle gewisse Felder mit einem Boolean auf gelockt gesetzt und erst wieder de-lockt wenn
alle Sendungen durch sind.

das ist kompliziert, gefährlich (vergessene Locks) und bringt auch nichts, warum um alles in der Welt muss eine Zeile gesperrt werden nur weil gerade ein Report erstellt wird

ich würde ein Datawarehouse für Dummies verwenden und alle benötigten Daten z.B. in eine lokale embedded-DB (HSQL, Derby)
einlesen

oder du erstellst ein paar Views auf dem Server, die schon alles richtig aufbereiten

 

[chuanito]

das bringt i.A. gar nichts, wozu "mehrere Threads"?

Ganz einfach. in der Zeit wo ich eine Sendung (=Thread) berechne kann ich in der gleichen Zeit 4-5 ausrechnen,
da ich beim sequenziellen verarbeiten immer auf das Ende der Verarbeitung warten muss aber diese Sendungen
keine Verbindung zu einander haben.

das ist kompliziert, gefährlich (vergessene Locks) und bringt auch nichts, warum um alles in der Welt muss eine Zeile gesperrt werden nur weil gerade ein Report erstellt wird

ich würde ein Datawarehouse für Dummies verwenden und alle benötigten Daten z.B. in eine lokale embedded-DB (HSQL, Derby)
einlesen

oder du erstellst ein paar Views auf dem Server, die schon alles richtig aufbereiten

du hast mich falsch verstanden ich locke oder sperre keine Zeile die irgendwo in einer Applikation etc. gebraucht
wird. Ich ziehe mir die produktiven Daten, die für die Reports eine Rolle spielen in eine andere Tabelle und bearbeite sie dort.

 

[AlArenal]

das bringt i.A. gar nichts, wozu "mehrere Threads"?

Ganz einfach. in der Zeit wo ich eine Sendung (=Thread) berechne kann ich in der gleichen Zeit 4-5 ausrechnen,
da ich beim sequenziellen verarbeiten immer auf das Ende der Verarbeitung warten muss aber diese Sendungen
keine Verbindung zu einander haben.

Was soll denn da von wem berechnet werden? Wenn die Karre ausgelastet ist, weil sie irgendwas berechnet, ist sie nicht weniger ausgelastet, wenn sie gleichzeitig noch anderweitig Daten holen soll.

Wenn du wer-weiß-was-für-komplexe SQL-Abfragen abschickst, wird die DB auch nicht performanter, wenn du sie über mehrere Threads gleichzeitg mit mehreren solcher Anfragen belastest. Die Gesamtperformance sinkt um die Zeit, die für zusätzliche Synchronisationsmchenismen und Scheduling benötigt wird.

Schonmal von KISS gehört? Keep is simple, stupid ...

 

[chuanito]

Hmm nein es handelt sich dabei um 5-6 einfache SQL-Statements und das ganze läuft auf einem IBM Informix Server
(8-CPU-Rechner).

 

[Bleiglanz]

OK, wenn du 8CPUs hast dann machs mit Threads (wenn diese Leistung überhaupt erforderlich ist)

was genau ist denn dann das Problem

Haufen Threads
rechnest alles aus
erstellst den Report
Fertig