Perfomance Problem mit Java Applikation

S

schnitzlpizza

Mitglied
Hallo,

Ich habe ein (eigentlich simples) Programm (Java Forms) geschrieben, mit dem ich ein Logfile zeilenweise auslese (eine Zeile im Logfile hat 3 Strings) und diese ausgelesenen Teilstrings bastle ich dann in ein SQL Insert Statement hinein. Ich will mir also aus dem Logfile einen SQL Dump erzeugen mit den ganzen Inserts.

Das Problem ist folgendes: Das Logfile, das ich auslese, ist 112 MB groß (und ich muss noch Files auslesen, die dreimal so groß sind). Wenn ich also das auslese und eben meine SQL Dump erzeuge, brauchen die Rechner (egal ob 4-Kerne CPU mit 32 Bit System oder 2-Kerne CPU mit 64 Bit System mit beide Male ausreichend Speicher) sehr, sehr lang bzw. die Größe des Java Heaps reicht bei manchen Geräten auch nicht mehr aus, obwohl ich mehrere GB zugesichert habe.

Meine Frage ist, wie ich diesen Umstand beheben kann, ohne die Programmlogik jetzt gröber umzustricken (also beispielsweise kein Blockweises Abarbeiten der Datei usw.) d.h. ich will mein Programm schneller machen, sodass es im Bereich von maximal mehreren Minuten das Logfile analysiert und die entsprechende SQL Dump Datei erzeugt.

Ich habs mit dem direkten Aufrufen des Garbage Collectors versucht, jedoch wird das Zeug nicht wirklich schneller.

Hier ein Code Snippet, in dem mein Problem auftritt:
Java:
        File logfile = new File(jTextField1.getText());
        File dumpfile = new File(jTextField2.getText());
        try{
            BufferedReader in = new BufferedReader(new FileReader(logfile));
            jTextField3.setText("Logfile wird geöffnet");
            String zeile, insertStatement=null;
            StringBuffer statementsGesamt = new StringBuffer();
            String[] spalten=null;
            boolean shownFlag=false;
            try{
                while((zeile = in.readLine())!=null){
                    if(shownFlag==false){
                        jTextField3.setText("Logfile wird gelesen");
                        shownFlag=true;
                    }
                    spalten = zeile.split(" ");
                    insertStatement = "INSERT INTO SEPTEMBERLOG VALUES ('"+spalten[0]+"', '"+spalten[1]+"', '"+spalten[2]+"');\n";
                    //statementsGesamt+=insertStatement;
                    statementsGesamt.append(insertStatement);
                    //System.out.print(insertStatement);
                    System.gc();
                }
                //System.out.print(statementsGesamt);
                in.close();

Es wär toll, wenn mir irgendjemand einen Tipp oder Ähnliches geben könnte.
Übrigens: Mit C# funktioniert die selbe Aufgabenstellung prima und halbwegs performant ;-)

Grüße,
schnitzlpizza
 
faetzminator

faetzminator

Gesperrter Benutzer
Speicher statementsGesamt immer direkt in die gewünschte Output-Datei. Wenn du dann immer noch Probleme hast, kannst du die Input-Datei(en) mit RandomAccessFile lesen.
 
F

FArt

Top Contributor
Lies die Datei zeileinweise aus. Benutze Prepared Statements. Mache Batch-Updates, nicht alles in einer Transaktion. Optimiere nicht irgend etwas (z.B. GC), bevor du nicht das Problem analysiert hast. Raten bringt nichts. Wenn du das nicht zurück baust (nach dem Motto: hatte ja eh keinen Effekt) baust du dir damit u.U. das nächste Problem gleich mit ein.
 
M

Marco13

Gesperrter Benutzer
Über FArts Hinweise hinaus:

Code:
spalten = zeile.split(" ");

Eine kleine Herausforderung: Schreibe (OHNE Verwendung der Funktionen, die für solche Dinge in Java schon eingebaut sind) eine Regular-Expressions-Bibliothek. Schreibe diese Bibliothek so, dass du beliebige Regular Expressions angeben kannst, dass du Matcher für beliebige regular expressions erstellen kannst, und dass du diese Matcher auf Strings anwenden kannst, mit greedy- und reluctant quantifiern und capturing groups und allem drum und dran. Verwende diese Bibliothek dann, um darauf aufbauend eine Methode "splitString" zu schreiben, die einen String auf basis der Matches gegen eine Regular Expression aufteilt und die Teilstücke in einen Array legt.

Und dann' überleg' mal, wo du bei deinem Programm eine (vielleicht nicht "bequeme", aber doch schon fast beängstigend triviale) Verbesserung einbauen könntest.
 
Wildcard

Wildcard

Top Contributor
Ausserdem:
1. 'in' muss in finally geschlossen werden
2. Wirf unbedingt das System.gc raus
3. Verwende StringBuilder statt StringBuffer
 
Ähnliche Java Themen
  Titel Forum Antworten Datum
M Perfomance Dateiübergabe Allgemeine Java-Themen 1
G Welches Problem besteht bei den Typparametern? Allgemeine Java-Themen 5
temi Problem mit Aufrufreihenfolge bei Vererbung Allgemeine Java-Themen 3
Sumo_ow "ArrayIndexOutofBoundsException: 2" Array Problem Allgemeine Java-Themen 6
T PIM basierend auf netbeans via AnyDesk Problem Allgemeine Java-Themen 3
xGh0st2014 Problem mit Java Array Allgemeine Java-Themen 1
Kirby.exe Verständnis Problem bei Rucksack Problem Allgemeine Java-Themen 6
B Eclipse-Lombok-Problem Allgemeine Java-Themen 19
I Input/Output ObjectOutputStream - Problem Allgemeine Java-Themen 7
1 Multiple Choice Knapsack- Problem Allgemeine Java-Themen 2
kodela Problem mit strukturiertem Array Allgemeine Java-Themen 18
E Problem mit Gridlayout und Button Allgemeine Java-Themen 2
A Array Problem Allgemeine Java-Themen 8
bueseb84 Problem Allgemeine Java-Themen 0
S Problem mit Arrays Allgemeine Java-Themen 1
D Nullpointer Exception Problem Allgemeine Java-Themen 5
B Problem mit meinen Klassen Allgemeine Java-Themen 6
A HashMap Methode "get()"-Problem Allgemeine Java-Themen 28
J Problem beim Umstellen auf Java jdk 13 Allgemeine Java-Themen 3
J Problem bei Install java 13 Allgemeine Java-Themen 3
X Profitable Reise Problem Allgemeine Java-Themen 32
A Problem beim öffnen von Java-Installern Allgemeine Java-Themen 1
Dann07 Problem mit JavaMail API Allgemeine Java-Themen 26
J Problem beim Generischen Klassen und Interfaces Allgemeine Java-Themen 2
L Klassen Algorithmus für das folgende Problem entwickeln? Allgemeine Java-Themen 30
J Clear-Problem Allgemeine Java-Themen 10
B Problem zu einem Java Projekt Allgemeine Java-Themen 6
S JFileChooser Problem Allgemeine Java-Themen 4
M Traveling Salesman - MST Heuristik Problem Allgemeine Java-Themen 4
J Traveling Salesman Problem Allgemeine Java-Themen 14
E Java Editor Problem mit 2er Exceptions Allgemeine Java-Themen 12
C code oder Bibliotheken für 2-Center Problem Allgemeine Java-Themen 4
M Salesman Problem - Bruteforce Algorithmus Allgemeine Java-Themen 23
S Methoden Problem mit NullPointerException Allgemeine Java-Themen 9
Javafan02 Problem mit if-clause Allgemeine Java-Themen 17
J Lombok Problem mit Konstruktoren bei Verberbung Allgemeine Java-Themen 1
kodela Event Handling Problem mit der Alt-Taste Allgemeine Java-Themen 16
W Threads Problem Allgemeine Java-Themen 15
D (Verständnis-)Problem mit Unterklasse Allgemeine Java-Themen 4
S Problem mit Generic bei unmodifiableCollection Allgemeine Java-Themen 4
S jserialcomm Problem Allgemeine Java-Themen 1
Flynn Thread-Problem... Allgemeine Java-Themen 2
J Generische Interface - Problem Allgemeine Java-Themen 3
G Problem beim GUI Allgemeine Java-Themen 9
L Applet Problem "security: Trusted libraries list file not found" ? Allgemeine Java-Themen 7
A OOP Problem beim Berechnen der größten Fläche eines Ringes Allgemeine Java-Themen 19
T Problem mit externen Datenbankzugriff über SSH Tunnel Allgemeine Java-Themen 4
F Problem beim Einlesen einer Textdatei Allgemeine Java-Themen 12
S Java OpenOffice Problem mit Windows-Benutzerwechsel Allgemeine Java-Themen 19
K Threads RAM Problem Allgemeine Java-Themen 20
P Operatoren Problem mit Zähler in recursiver Schleife Allgemeine Java-Themen 2
C Int Problem Allgemeine Java-Themen 8
C J2V8 NodeJs Java Bride Problem und Frage!?!? Allgemeine Java-Themen 1
J Problem bei Hashmap Key-Abfrage Allgemeine Java-Themen 4
C Webseiten Programm problem Allgemeine Java-Themen 5
M LocalDate Problem Allgemeine Java-Themen 4
J "Problem Objektorientierung" Allgemeine Java-Themen 20
geekex Problem Meldung! Was tun?! Allgemeine Java-Themen 19
T Klassen Override Problem Allgemeine Java-Themen 7
L Unbekanntes Problem Allgemeine Java-Themen 1
FrittenFritze Problem mit einer JComboBox, Event temporär deaktivieren Allgemeine Java-Themen 11
Blender3D Java Swing Programm Windows 10 Autostart Problem Allgemeine Java-Themen 2
F HTTPS Zertifikat Problem Allgemeine Java-Themen 3
M OpenCV KNearest Problem Allgemeine Java-Themen 0
Tommy Nightmare Project Euler: Problem 22 Allgemeine Java-Themen 2
C Abstrakte Klasse, lokale Variable-Problem Allgemeine Java-Themen 1
N Vererbung Design-Problem mit vorhandenen, von der Klasse unabhängigen Methoden Allgemeine Java-Themen 12
P Eclipse Projekt anlegen macht Problem Allgemeine Java-Themen 1
RalleYTN META-INF/services Problem Allgemeine Java-Themen 3
F Java Mail Problem: Authentifizierung wird nicht immer mitgeschickt Allgemeine Java-Themen 1
I Problem beim Aufrufen, von Objektmethoden/ -variablen Allgemeine Java-Themen 6
K Thread Problem Allgemeine Java-Themen 6
A Reflection Problem Allgemeine Java-Themen 15
RalleYTN Problem bei Schleife die durch einen 2D raum iterieren soll Allgemeine Java-Themen 1
S FileReader-Problem in Eclipse Allgemeine Java-Themen 8
H Collector Generics Problem (incl. Stream & Lambda) Allgemeine Java-Themen 4
1 Problem mit Selenium WebDriver findElement bei Instagram Bot Allgemeine Java-Themen 3
I JAXB Problem Allgemeine Java-Themen 9
Tausendsassa Input/Output Problem mit der gleichzeitigen Ausgabe zweier Threads Allgemeine Java-Themen 8
C Input/Output Problem bei Datei verschiebung mit File.move und Paths.get() Allgemeine Java-Themen 26
F Problem mit "package" Allgemeine Java-Themen 7
D Problem mit zu langen Verzeichnisnamen auf Laufwerken Allgemeine Java-Themen 8
M Problem mit BufferedImage und PrinterJob im Querformat Allgemeine Java-Themen 1
C JTextPane + HTMLEditorKit withe space problem Allgemeine Java-Themen 0
Q Game of Life "unendlichkeits" Problem Allgemeine Java-Themen 4
0 Erste Schritte Rekursions Problem bei Zahlenvergabe Allgemeine Java-Themen 3
VfL_Freak JDK installieren Problem mit Erstellungspfad nach Wechsel von Java7 auf Java8 Allgemeine Java-Themen 1
Seikuassi Input/Output Java transferTo ByteArrayOutputStream-Problem Allgemeine Java-Themen 4
M Arrays.sort Problem Allgemeine Java-Themen 2
Seikuassi Compiler-Fehler Xuggler-Problem-Video > Audio bzw. Video > Audio-API Allgemeine Java-Themen 2
T Xbox Emulator Problem Allgemeine Java-Themen 9
C Klassen Problem mit Funktion einer Generischen Klasse die ein Interface implementiert Allgemeine Java-Themen 0
K Problem: Java-Klasse mit mehreren Threads als eigenen Prozess starten Allgemeine Java-Themen 3
J Datentypen Kalender problem Allgemeine Java-Themen 11
G problem: array aus objekten Allgemeine Java-Themen 10
P RestTemplate Special Character Problem Allgemeine Java-Themen 4
Seikuassi Input/Output ObjectOutputStream putFields-Problem Allgemeine Java-Themen 2
N Problem mit Generics und Interface Allgemeine Java-Themen 4
D OpenCSV Problem Allgemeine Java-Themen 1
B Best Practice Java Zugriffsrechte Problem Allgemeine Java-Themen 2

Ähnliche Java Themen

Anzeige

Neue Themen


Oben