viele datensätze.

[ARadauer]

ich steh vor einem projekt in dem ich sehr sehr viele datensätze lesen, erstellen und updaten muss. wir bewegen uns im bereich von einem einmaligen insert von ca 4mio, täglichem update von ca 2,5 mio und täglichen export von ca 4 mio datensätze.

Die Datenbank soll eine mysql 5 sein.

Ich hab jetzt schon eine kleinere Anwendung geschrieben die mit hibernate arbeitet und ich muss ehrlich sagen, dass ich ein bisschen angst vor performance problemen habe.... hat jemand schon mal so fette DB Manipulationen mit Hibernate gemacht? Performed das? Ich bin am überlegen ob ich nicht einfach JDBC verwenden soll....

Danke für eure Tipps....

 

[kama]

Hallo,

habe im Rahmen eines Projekt ca. 3.5 Mio DS in 3 Stunden verarbeitet mit vielen Operationen auf den Datensätzen etc.
Wichtig ist, ob das DB Schema schon steht und mit z.B. Hibernate gemappt werden muss, oder ob das DB Schema aus den annotierten Klassen erzeugt werden kann (Sprich zuerst Objekt Modell und daraus DDL erzeugen; spart arbeit).

Wichtig ist, zuerst die Applikation zum funktionieren bringen und danach optimieren....man kann bei Hibernate an sehr vielen Schrauben drehen (Caches.). Es gibt auch fälle, an denen man dann tatsächlich mal eine native SQL Statement einsetzen muss (geht auch mit Hibernate) aber dann wars das auch....

Ich möchte Hibernate nicht mehr missen....es spart einfach sehr viel arbeit.....und mit Hibernate arbeitet man in Java eben nur mit Objekten das vereinfacht die Arbeit ungemein....

Wichtig ist auch, ob DAO Pattern oder TO-Assembler eingesetzt werden.....das spart nämglich auch sehr viel....

Die Frage ist auch, ob die Datensätze, die upgedated werden müssen noch mit Applikations Logik bearbeitet werden müssen, oder einfach nur in die DB geblasen werden müssen ?

MfG
Karl Heinz Marbaise

 

[ARadauer]

oder ob das DB Schema aus den annotierten Klassen erzeugt werden kann

ganz frisch, ganz neu

Wichtig ist auch, ob DAO Pattern oder TO-Assembler eingesetzt werden.....das spart nämglich auch sehr viel....

ich arbeite grundsätzlich mit DAOs

Die Frage ist auch, ob die Datensätze, die upgedated werden müssen noch mit Applikations Logik bearbeitet werden müssen, oder einfach nur in die DB geblasen werden müssen ?

ja schon, im grunde werden aufgrund von rießen csv files, preise aktualisiert, wobei vorher noch diverse werte berechnet werden....

ich denke, dass ich einfach mal ausprobieren muss wie die sache performed...

 

[FArt]

proof of concept ;-)