Hallo,
Ich habe ein (eigentlich simples) Programm (Java Forms) geschrieben, mit dem ich ein Logfile zeilenweise auslese (eine Zeile im Logfile hat 3 Strings) und diese ausgelesenen Teilstrings bastle ich dann in ein SQL Insert Statement hinein. Ich will mir also aus dem Logfile einen SQL Dump erzeugen mit den ganzen Inserts.
Das Problem ist folgendes: Das Logfile, das ich auslese, ist 112 MB groß (und ich muss noch Files auslesen, die dreimal so groß sind). Wenn ich also das auslese und eben meine SQL Dump erzeuge, brauchen die Rechner (egal ob 4-Kerne CPU mit 32 Bit System oder 2-Kerne CPU mit 64 Bit System mit beide Male ausreichend Speicher) sehr, sehr lang bzw. die Größe des Java Heaps reicht bei manchen Geräten auch nicht mehr aus, obwohl ich mehrere GB zugesichert habe.
Meine Frage ist, wie ich diesen Umstand beheben kann, ohne die Programmlogik jetzt gröber umzustricken (also beispielsweise kein Blockweises Abarbeiten der Datei usw.) d.h. ich will mein Programm schneller machen, sodass es im Bereich von maximal mehreren Minuten das Logfile analysiert und die entsprechende SQL Dump Datei erzeugt.
Ich habs mit dem direkten Aufrufen des Garbage Collectors versucht, jedoch wird das Zeug nicht wirklich schneller.
Hier ein Code Snippet, in dem mein Problem auftritt:
Es wär toll, wenn mir irgendjemand einen Tipp oder Ähnliches geben könnte.
Übrigens: Mit C# funktioniert die selbe Aufgabenstellung prima und halbwegs performant ;-)
Grüße,
schnitzlpizza
Ich habe ein (eigentlich simples) Programm (Java Forms) geschrieben, mit dem ich ein Logfile zeilenweise auslese (eine Zeile im Logfile hat 3 Strings) und diese ausgelesenen Teilstrings bastle ich dann in ein SQL Insert Statement hinein. Ich will mir also aus dem Logfile einen SQL Dump erzeugen mit den ganzen Inserts.
Das Problem ist folgendes: Das Logfile, das ich auslese, ist 112 MB groß (und ich muss noch Files auslesen, die dreimal so groß sind). Wenn ich also das auslese und eben meine SQL Dump erzeuge, brauchen die Rechner (egal ob 4-Kerne CPU mit 32 Bit System oder 2-Kerne CPU mit 64 Bit System mit beide Male ausreichend Speicher) sehr, sehr lang bzw. die Größe des Java Heaps reicht bei manchen Geräten auch nicht mehr aus, obwohl ich mehrere GB zugesichert habe.
Meine Frage ist, wie ich diesen Umstand beheben kann, ohne die Programmlogik jetzt gröber umzustricken (also beispielsweise kein Blockweises Abarbeiten der Datei usw.) d.h. ich will mein Programm schneller machen, sodass es im Bereich von maximal mehreren Minuten das Logfile analysiert und die entsprechende SQL Dump Datei erzeugt.
Ich habs mit dem direkten Aufrufen des Garbage Collectors versucht, jedoch wird das Zeug nicht wirklich schneller.
Hier ein Code Snippet, in dem mein Problem auftritt:
Java:
File logfile = new File(jTextField1.getText());
File dumpfile = new File(jTextField2.getText());
try{
BufferedReader in = new BufferedReader(new FileReader(logfile));
jTextField3.setText("Logfile wird geöffnet");
String zeile, insertStatement=null;
StringBuffer statementsGesamt = new StringBuffer();
String[] spalten=null;
boolean shownFlag=false;
try{
while((zeile = in.readLine())!=null){
if(shownFlag==false){
jTextField3.setText("Logfile wird gelesen");
shownFlag=true;
}
spalten = zeile.split(" ");
insertStatement = "INSERT INTO SEPTEMBERLOG VALUES ('"+spalten[0]+"', '"+spalten[1]+"', '"+spalten[2]+"');\n";
//statementsGesamt+=insertStatement;
statementsGesamt.append(insertStatement);
//System.out.print(insertStatement);
System.gc();
}
//System.out.print(statementsGesamt);
in.close();
Es wär toll, wenn mir irgendjemand einen Tipp oder Ähnliches geben könnte.
Übrigens: Mit C# funktioniert die selbe Aufgabenstellung prima und halbwegs performant ;-)
Grüße,
schnitzlpizza