Perfomance Problem mit Java Applikation

Hallo,

Ich habe ein (eigentlich simples) Programm (Java Forms) geschrieben, mit dem ich ein Logfile zeilenweise auslese (eine Zeile im Logfile hat 3 Strings) und diese ausgelesenen Teilstrings bastle ich dann in ein SQL Insert Statement hinein. Ich will mir also aus dem Logfile einen SQL Dump erzeugen mit den ganzen Inserts.

Das Problem ist folgendes: Das Logfile, das ich auslese, ist 112 MB groß (und ich muss noch Files auslesen, die dreimal so groß sind). Wenn ich also das auslese und eben meine SQL Dump erzeuge, brauchen die Rechner (egal ob 4-Kerne CPU mit 32 Bit System oder 2-Kerne CPU mit 64 Bit System mit beide Male ausreichend Speicher) sehr, sehr lang bzw. die Größe des Java Heaps reicht bei manchen Geräten auch nicht mehr aus, obwohl ich mehrere GB zugesichert habe.

Meine Frage ist, wie ich diesen Umstand beheben kann, ohne die Programmlogik jetzt gröber umzustricken (also beispielsweise kein Blockweises Abarbeiten der Datei usw.) d.h. ich will mein Programm schneller machen, sodass es im Bereich von maximal mehreren Minuten das Logfile analysiert und die entsprechende SQL Dump Datei erzeugt.

Ich habs mit dem direkten Aufrufen des Garbage Collectors versucht, jedoch wird das Zeug nicht wirklich schneller.

Hier ein Code Snippet, in dem mein Problem auftritt:
Java:
        File logfile = new File(jTextField1.getText());
        File dumpfile = new File(jTextField2.getText());
        try{
            BufferedReader in = new BufferedReader(new FileReader(logfile));
            jTextField3.setText("Logfile wird geöffnet");
            String zeile, insertStatement=null;
            StringBuffer statementsGesamt = new StringBuffer();
            String[] spalten=null;
            boolean shownFlag=false;
            try{
                while((zeile = in.readLine())!=null){
                    if(shownFlag==false){
                        jTextField3.setText("Logfile wird gelesen");
                        shownFlag=true;
                    }
                    spalten = zeile.split(" ");
                    insertStatement = "INSERT INTO SEPTEMBERLOG VALUES ('"+spalten[0]+"', '"+spalten[1]+"', '"+spalten[2]+"');\n";
                    //statementsGesamt+=insertStatement;
                    statementsGesamt.append(insertStatement);
                    //System.out.print(insertStatement);
                    System.gc();
                }
                //System.out.print(statementsGesamt);
                in.close();

Es wär toll, wenn mir irgendjemand einen Tipp oder Ähnliches geben könnte.
Übrigens: Mit C# funktioniert die selbe Aufgabenstellung prima und halbwegs performant ;-)

Grüße,
schnitzlpizza
 

faetzminator

Gesperrter Benutzer
Speicher statementsGesamt immer direkt in die gewünschte Output-Datei. Wenn du dann immer noch Probleme hast, kannst du die Input-Datei(en) mit RandomAccessFile lesen.
 

FArt

Top Contributor
Lies die Datei zeileinweise aus. Benutze Prepared Statements. Mache Batch-Updates, nicht alles in einer Transaktion. Optimiere nicht irgend etwas (z.B. GC), bevor du nicht das Problem analysiert hast. Raten bringt nichts. Wenn du das nicht zurück baust (nach dem Motto: hatte ja eh keinen Effekt) baust du dir damit u.U. das nächste Problem gleich mit ein.
 

Marco13

Top Contributor
Über FArts Hinweise hinaus:

Code:
spalten = zeile.split(" ");

Eine kleine Herausforderung: Schreibe (OHNE Verwendung der Funktionen, die für solche Dinge in Java schon eingebaut sind) eine Regular-Expressions-Bibliothek. Schreibe diese Bibliothek so, dass du beliebige Regular Expressions angeben kannst, dass du Matcher für beliebige regular expressions erstellen kannst, und dass du diese Matcher auf Strings anwenden kannst, mit greedy- und reluctant quantifiern und capturing groups und allem drum und dran. Verwende diese Bibliothek dann, um darauf aufbauend eine Methode "splitString" zu schreiben, die einen String auf basis der Matches gegen eine Regular Expression aufteilt und die Teilstücke in einen Array legt.

Und dann' überleg' mal, wo du bei deinem Programm eine (vielleicht nicht "bequeme", aber doch schon fast beängstigend triviale) Verbesserung einbauen könntest.
 

Wildcard

Top Contributor
Ausserdem:
1. 'in' muss in finally geschlossen werden
2. Wirf unbedingt das System.gc raus
3. Verwende StringBuilder statt StringBuffer
 
Ähnliche Java Themen
  Titel Forum Antworten Datum
M Perfomance Dateiübergabe Allgemeine Java-Themen 1
krgewb Problem mit Umlauten und Eszett bei InputStream Allgemeine Java-Themen 3
Max246Sch Backtracking Problem Box Filler Allgemeine Java-Themen 6
NightVision402 VisualVM Startskript Problem Allgemeine Java-Themen 3
javaBoon86 Email Server Connection Problem Allgemeine Java-Themen 1
F Problem mit PDFBOX Library Allgemeine Java-Themen 1
A Java modul Problem Allgemeine Java-Themen 4
D Read JSON File Problem Allgemeine Java-Themen 9
urmelausdemeis Exception in thread "main" java.lang.Error: Unresolved compilation problem: Allgemeine Java-Themen 7
J Problem mit JasperReports Allgemeine Java-Themen 8
M log4j Problem mit jlink Allgemeine Java-Themen 19
8u3631984 Problem beim Mocken von Record Klassen Allgemeine Java-Themen 4
torresbig Website login Problem - Jsoup, wie bisher, klappt nicht! Allgemeine Java-Themen 31
P Selenium . getText Problem Allgemeine Java-Themen 9
A Jar zu Exe Problem Allgemeine Java-Themen 13
sserio Variablen Liste erstellt und ein Problem mit dem Index Allgemeine Java-Themen 6
S Folgendes Problem bei einem Programm Allgemeine Java-Themen 1
stormyark Problem beim Klassen erstellen Allgemeine Java-Themen 1
A Thread.sleep Problem Allgemeine Java-Themen 2
A Problem bei der Nachbarschafttest Allgemeine Java-Themen 11
Splayfer Problem: no main manifest attribute Allgemeine Java-Themen 3
G javamail Problem beim Empfangen von Nachrichten Allgemeine Java-Themen 3
Splayfer JDA Problem mit MessageCounter Allgemeine Java-Themen 0
Splayfer Problem mit BufferedWriter Allgemeine Java-Themen 3
F Streams als Alternative für dieses Problem ? Allgemeine Java-Themen 15
N Maven Problem mit Datenbanktreiber (H2 Embedded) Allgemeine Java-Themen 12
T Problem beim Umwandeln in eine Jar-Datei Allgemeine Java-Themen 3
B Einfach Elemente zweier Arraylisten kreuz und quer vergleichen, min und max Problem? Allgemeine Java-Themen 16
C ArrayList Problem Allgemeine Java-Themen 3
kev34 nim-Spiel problem Allgemeine Java-Themen 1
D Firebase retrieve data Problem, Child Element wird nicht angesprochen Allgemeine Java-Themen 0
G Welches Problem besteht bei den Typparametern? Allgemeine Java-Themen 5
temi Problem mit Aufrufreihenfolge bei Vererbung Allgemeine Java-Themen 3
Sumo_ow "ArrayIndexOutofBoundsException: 2" Array Problem Allgemeine Java-Themen 6
T PIM basierend auf netbeans via AnyDesk Problem Allgemeine Java-Themen 3
xGh0st2014 Problem mit Java Array Allgemeine Java-Themen 1
Kirby.exe Verständnis Problem bei Rucksack Problem Allgemeine Java-Themen 6
B Eclipse-Lombok-Problem Allgemeine Java-Themen 19
I Input/Output ObjectOutputStream - Problem Allgemeine Java-Themen 7
1 Multiple Choice Knapsack- Problem Allgemeine Java-Themen 2
kodela Problem mit strukturiertem Array Allgemeine Java-Themen 18
E Problem mit Gridlayout und Button Allgemeine Java-Themen 2
A Array Problem Allgemeine Java-Themen 8
bueseb84 Problem Allgemeine Java-Themen 0
S Problem mit Arrays Allgemeine Java-Themen 1
D Nullpointer Exception Problem Allgemeine Java-Themen 5
B Problem mit meinen Klassen Allgemeine Java-Themen 6
A HashMap Methode "get()"-Problem Allgemeine Java-Themen 28
J Problem beim Umstellen auf Java jdk 13 Allgemeine Java-Themen 3
J Problem bei Install java 13 Allgemeine Java-Themen 3
X Profitable Reise Problem Allgemeine Java-Themen 32
A Problem beim öffnen von Java-Installern Allgemeine Java-Themen 1
Dann07 Problem mit JavaMail API Allgemeine Java-Themen 26
J Problem beim Generischen Klassen und Interfaces Allgemeine Java-Themen 2
L Klassen Algorithmus für das folgende Problem entwickeln? Allgemeine Java-Themen 30
J Clear-Problem Allgemeine Java-Themen 10
B Problem zu einem Java Projekt Allgemeine Java-Themen 6
S JFileChooser Problem Allgemeine Java-Themen 4
M Traveling Salesman - MST Heuristik Problem Allgemeine Java-Themen 4
J Traveling Salesman Problem Allgemeine Java-Themen 14
E Java Editor Problem mit 2er Exceptions Allgemeine Java-Themen 12
C code oder Bibliotheken für 2-Center Problem Allgemeine Java-Themen 4
M Salesman Problem - Bruteforce Algorithmus Allgemeine Java-Themen 23
S Methoden Problem mit NullPointerException Allgemeine Java-Themen 9
Javafan02 Problem mit if-clause Allgemeine Java-Themen 17
J Lombok Problem mit Konstruktoren bei Verberbung Allgemeine Java-Themen 1
kodela Event Handling Problem mit der Alt-Taste Allgemeine Java-Themen 16
W Threads Problem Allgemeine Java-Themen 15
D (Verständnis-)Problem mit Unterklasse Allgemeine Java-Themen 4
S Problem mit Generic bei unmodifiableCollection Allgemeine Java-Themen 4
S jserialcomm Problem Allgemeine Java-Themen 1
Flynn Thread-Problem... Allgemeine Java-Themen 2
J Generische Interface - Problem Allgemeine Java-Themen 3
G Problem beim GUI Allgemeine Java-Themen 9
L Applet Problem "security: Trusted libraries list file not found" ? Allgemeine Java-Themen 7
A OOP Problem beim Berechnen der größten Fläche eines Ringes Allgemeine Java-Themen 19
T Problem mit externen Datenbankzugriff über SSH Tunnel Allgemeine Java-Themen 4
F Problem beim Einlesen einer Textdatei Allgemeine Java-Themen 12
S Java OpenOffice Problem mit Windows-Benutzerwechsel Allgemeine Java-Themen 19
K Threads RAM Problem Allgemeine Java-Themen 20
P Operatoren Problem mit Zähler in recursiver Schleife Allgemeine Java-Themen 2
C Int Problem Allgemeine Java-Themen 8
C J2V8 NodeJs Java Bride Problem und Frage!?!? Allgemeine Java-Themen 1
J Problem bei Hashmap Key-Abfrage Allgemeine Java-Themen 4
C Webseiten Programm problem Allgemeine Java-Themen 5
M LocalDate Problem Allgemeine Java-Themen 4
J "Problem Objektorientierung" Allgemeine Java-Themen 20
geekex Problem Meldung! Was tun?! Allgemeine Java-Themen 19
T Klassen Override Problem Allgemeine Java-Themen 7
L Unbekanntes Problem Allgemeine Java-Themen 1
FrittenFritze Problem mit einer JComboBox, Event temporär deaktivieren Allgemeine Java-Themen 11
Blender3D Java Swing Programm Windows 10 Autostart Problem Allgemeine Java-Themen 2
F HTTPS Zertifikat Problem Allgemeine Java-Themen 3
M OpenCV KNearest Problem Allgemeine Java-Themen 0
Tommy Nightmare Project Euler: Problem 22 Allgemeine Java-Themen 2
C Abstrakte Klasse, lokale Variable-Problem Allgemeine Java-Themen 1
N Vererbung Design-Problem mit vorhandenen, von der Klasse unabhängigen Methoden Allgemeine Java-Themen 12
P Eclipse Projekt anlegen macht Problem Allgemeine Java-Themen 1
RalleYTN META-INF/services Problem Allgemeine Java-Themen 3
F Java Mail Problem: Authentifizierung wird nicht immer mitgeschickt Allgemeine Java-Themen 1

Ähnliche Java Themen

Neue Themen


Oben