Performance Pptimierung -Lesen/Schreiben

[ARadauer]

Hallo,

ich hab hier ziehmlich große Datein, die ich einlesen, bearbeite und wieder schreibe....
ca 20 Mio Zeilen, 2 GB

mal zum testen hab ich das geschrieben...

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;


public class TestWriteRead {
   
   public static void main(String[] args) throws IOException {
      long t = System.currentTimeMillis();
      
      File fileOut = new File("c:/out.txt");
      File fileIn = new File("c:/in.txt");
      
      BufferedReader reader = new BufferedReader(new FileReader(fileIn));
      BufferedWriter writer= new BufferedWriter(new FileWriter(fileOut));
      
      String line = null;
      
      StringBuffer buf = new StringBuffer();
      int c = 0;
      while((line = reader.readLine())!=null){
         c++;
         buf = new StringBuffer(line);
         //lustige sachen mit dem String machen         
         writer.write(buf.toString());
      }      
    
     
      writer.flush();
      writer.close();
      reader.close();
      System.out.println(((System.currentTimeMillis()-t)/1000)+" s");
      System.out.println(c);
   }

}

schon mal ganz nett 140 sekunden. Kennt jemand noch ein paar einfache Tipps wie ich das noch beschleunigen könnte? nicht das es ungedingt notwendig wäre, aber wenns einfach geht... schneller ist immer besser ;-)

 

[maki]

Dafür sollte man doch nio einsetzen, oder?

 

[foobar]

Vielleicht sind Pipes etwas performanter: http://www.dpunkt.de/java/Programmieren_mit_Java/Streams/9.html

 

[ARadauer]

mhn ja nio...
http://java.sun.com/j2se/1.4.2/docs/guide/nio/example/Grep.java

	// Get the file's size and then map it into memory
	int sz = (int)fc.size();
	MappedByteBuffer bb = fc.map(FileChannel.MapMode.READ_ONLY, 0, sz);

;-) 2 GB das wird spannend....

aber gibt mit nio sicher noch andere möglichkeiten... danke für die tipps wird mir nio und pipes anschaun

 

[Murray]

Ich nehme mal an, dass Du in Deine echten Programm den StringBuffer wirklich brauchst (im geposteten Code ist er ja überflüssig).
Eventuell verbessert es die Performance etwas, wenn Du den StringBuffer nur einmal erzeugst und ihn in der Schleife immer mit setLength(0) leermachst und die gelesene Zeile mit append anhängst - so gibt es deutlich weniger Allokationen, und der GC hat weniger zu tun.
Wenn Du mindestens Java 5 verwendest, solltest statt StringBuffer StringBuilder verwenden (geringfügig schneller, da nicht synchronisiert).

 

[ARadauer]

setLength(0) gute idee, hab nach einem clear gesucht - nichts gefunden.. darum das new ..
StringBuilder statt StringBuffer... mal versuchen

   public static void main(String[] args) throws IOException {
      long t = System.currentTimeMillis();
      
      File fileOut = new File("c:/out.txt");
      File fileIn = new File("c:/in.txt");
      
      BufferedReader reader = new BufferedReader(new FileReader(fileIn));
      BufferedWriter writer= new BufferedWriter(new FileWriter(fileOut));
      
      String line = null;
      
      StringBuilder buf = new StringBuilder();
      int c = 0;
      while((line = reader.readLine())!=null){
         c++;
         buf.setLength(0);
         buf.append(line);
         //lustige sachen mit dem String machen         
         writer.write(buf.toString());
      }      
    
     
      writer.flush();
      writer.close();
      reader.close();
      System.out.println(((System.currentTimeMillis()-t)/1000)+" s");
      System.out.println(c);
   }

hat statt 140sec 147 gedauert... interessant

 

[ARadauer]

aber egal 20 mio datensätze in 2 minuten... was will man mehr...

 

[Atze]

ist nur ne ganz kleine hilfe, vielleicht garnicht merkbar, aber ist pre- nicht schneller als postinkrement? hab ich mal irgendwo aufgeschnappt, also vielleicht besser ++c!?

 

[ice-breaker]

Ja das stimmt schon, weil ein Pre-Inkrement von Maschinencode her nur ein Befehl ist, ein Post-Inkrement dagegen 3 oder 4. Aber diese Optimierung fällt in den Nanosekundenbereich und wird wohl kaum messbar sein.

Was machst du denn bei den "lustigen" Sachen, bzw wielange braucht das Programme noch ohne diese lustigen Sachen ?

 

[Wildcard]

Du solltest deinen StringBuilder unbedingt in einer sinnvollen Größe (Originaldateigröße?) initialisieren um dir mächtig viele Objekt Allokierungen und Arraycopies zu sparen.

 

[Ark]

Ich würde zudem die readLine()-Methode so nachbauen, dass die neue die Zeichen direkt in den StringBuilder einsetzt. Jedes normale readLine() erzeugt nämlich einen neuen String, und 20 Mio. Strings ... das ist schon ordentlich.

Ark