SQL Update "Rückgabe der DB als String?"

[henpara]

Hallo,
ich habe auf der Arbeit ein Programm übernommen, welches Daten aus einer DB ausliest, verarbeitet und ggf anschließend gewisse updates oder inserts automatisch erstellt.
Soweit so gut, wurde bisher "nur" das benötigte SQL-statement (ca 20000-300000 Zeilen lang)
als textfile rausgeschrieben, so daß man es je parameter immer noch von "hand" bzw. über ne batch datei eingeben musste.

ich hab es jetzt so umgeschrieben, daß die txt-files (die weiterhin bestehen bleiben sollen)
wieder eingelesen werden und dann zeilenweise die sql-statements durchgeführt werden.

was ich nun gerne noch hätte ist, daß man wie bei der batch datei ne log-datei dazu geschrieben bekommt, wo eben die datenkbank rückgabe für jedes statement drinne steht.

hier ein paar beispiele:

sql-statement 1
DB20000I Der Befehl SQL wurde erfolgreich ausgeführt.

sql-statement 2
DB21034E Der Befehl wurde als SQL-Anweisung verarbeitet, da es sich um keinen
gültigen Befehl des Befehlszeilenprozessors handelte. Während der
SQL-Verarbeitung wurde Folgendes ausgegeben:
SQL1024N Es besteht keine Verbindung zur Datenbank. SQLSTATE=08003

wie ihr seht, sind auch noch fehler da, und genau darum gehts, daß man im log erkennen kann, ob die sql-statements ordnungsgemäß ausgeführt wurden.

nun hat man in java ja das statement als objekt, aber ich brauch natürlich ne message in abhängigkeit vom query, das man ihm mitgibt.

ausgeführt wird das statement im moment mit:

stat.execute(upd);

wobei upd der sql-string ist und stat das statement.

in meinem filewriter schreib ich zZ ins log nur das query, was ich aber ja schon in der sql-output textdatei habe.

über hilfe würd ich mich freuen, ansonsten such ich weiter und probiers weiter aus.

mfG
henpara

 

[nrg]

würde log4j mit einen fileappender nehmen. da kannst du auch exceptions mit stacktrace loggen.

optional kannste den stacktrace auch selber über einen stringbuilder zusammenbauen und mit normalen writer loggen (würde ich aber nicht empfehlen)

 

[Michael...]

Bei Statements mit 20000 bis 300000 Zeilen scheint mir da ein Fehler im Konzept vorzuliegen.

Aber zum Thema loggen:
- Verwende executeUpdate anstelle von excute. Die Methode liefert Dir die Anzahl der eingefügten bzw. aktualisierten Datensätze zurück - die man loggen könnte
- Im Fehlerfall wird ja im eine Exception geworfen: Im catch-Abstimmt könnte man die Message der Exception loggen.

Das Loggen kann man ja wie bisher mittels FileWriter o.ä. machen oder mittels sonstiger verfügbarer Bibliotheken wie z.B. bereits erwähnt log4j umsetzen.

 

[henpara]

Bei Statements mit 20000 bis 300000 Zeilen scheint mir da ein Fehler im Konzept vorzuliegen.

könntest du da bitte etwas präziser sein?

wie gesagt, ich hab die Anwendung erst vor kurzem übernommen.

 

[SlaterB]

ein SQL-Statement ist normalerweise 1-3 Zeilen lang, in komplizierten Fällen 5-20,
bei bis zu 50 Zeilen muss man schon überlegen was ja jemand für einen unverständlichen Kram zusammengeschrieben hat,
über 100 ist rekord-kuriositätenwürdig,

und du kommst jetzt jetzt wirklich mit 20.000 Zeilen und verstehst nichtmal die Beschwerde?!

 

[henpara]

ich hab mich wohl etwas unglücklich ausgedrückt:
also es geht viel mehr um 20000 statements a eine zeile.
die gebe ich zZ auch zeilenweise in die db ein.
zZ lass ich mir einfach eine 1 ausgeben, wenn das update erfolgreich ausgeführt wurde, und null sonst.
das ist schon ganz ok. hab jetzt aber ein anderes problem:
es werden zB 5000 updates gemacht (ich zähle mit)
aber nur ca 1800 ins output file geschrieben... ich versteh nicht warum.

jemand ne idee?

(btw. 1-2zeilen sqlabfragen sind aber wirklich bloß einsteiger-abfragen. hab hier eig. täglich mit abfragen zu tun, die schon mal gerne 20-100 zeilen lang sind.)

 

[Michael...]

Auch 20000 Statements scheinen etwas viel. Wie wartet man sowas?
Geht's dabei um den Import von Daten? Dafür bieten viele Datenbanken eigene und bessere Lösungen.

Statements mit zwanzig Zeilen können ja mal vorkommen, aber bei 100 Zeilen würde ich mir schon Gedanken machen, ob da mit dem Datenmodel oder der Vorgehensweise nicht doch etwas faul ist.
Sowas ist mir bisher noch nicht untergekommen (außer man schreibt jedes Wort in eine Zeile ;-)).
Wenn Du allerdings von Prozeduren redest, die können schon mal ein bisschen länger ausfallen.

 

[henpara]

es ist eben eine sehr große datenbank. und die daten werden in dem programm auf konsistenz überprüft.
überall wo die konsistenz gefärdet sein kann/ ist, wird ein update auf die datenbak gehauen, da kann es doch bei x millionen einträgen eben mal zu 20000 updates kommen.

daher die großen zahlen. da führt auch kein weg dran vorbei,

die 20000 statements können aus updates und inserts bestehen.