Datei einlesen führt zu 100% Last

[atwola]

Hallo,
ich habe einen ganz einfachen Fileloader für ein Programm geschrieben.

Er soll eine Textdatei laden, das Encoding der Datei soll einstellbar sein.

Klappt auch wunderbar, nur leider erzeugt er beim Laden der Datei 100% Last auf der CPU.
Nicht so der Hit, weil es dann halt ewig dauert auch kleinste Dateien zu lesen.

Ich denke mal, dass die Zeile

while((c = eingabe.readLine()) != null)
str += c;

der Fehler ist, hier wird ja wie verrückt verkettet.

Zeilenweises Einlesen brachte nur geringe Verbesserung.

Was mache ich falsch?

Ein 4MB-Textfile sollte doch in unter 10 Minuten zu lesen sein ;-)

Danke
Roland

public class FileLoader {
    
    public static String load(String filename, String inputencoding) {


//Datei einlesen

String str ="";
String c="";

try
    {
      InputStreamReader ein = new InputStreamReader(new FileInputStream((filename)), inputencoding);
      BufferedReader eingabe = new BufferedReader(ein);

System.out.println(" Loading data from file " + filename +" using encoding " + inputencoding + "...");

while((c = eingabe.readLine()) != null)
str += c;

      eingabe.close();
      
      System.out.println(" Finished loading data...");
      return str;
    }
    catch ( IOException e ) {
      System.out.println(" Error reading file " + filename + ": " + e );
    }
    return str;
} 
      
      
}

 

[Beni]

Der Plus-Operator für Strings... legt einen neuen String an, und kopiert die beiden "Summanden".
Bei deinen 4000000 Zeichen werden also eigentlich 400000! (Fakultät) Zeichen gespeichert... sozusagen lässt du da eine Atombombe auf deinen Arbeitsspeicher los :wink:

Benutz den "StringBuffer" (oder den "StringBuilder") und die Methode "append" um die einzelnen Zeichen zu verbinden.
Nachdem die Datei gelesen wurde, kannst du den Buffer mit "toString" in einen String umwandeln.

 

[atwola]

Du hast Recht.

Dass das nicht geklappt hat ist klar :-D

Vielen Dank für Deine schnelle Hilfe
Roland

public class FileLoader {
    
    public static String load(String filename, String inputencoding) {


//Datei einlesen

String c="";
StringBuilder stringbuffer = new StringBuilder(10000);

try
    {
      InputStreamReader ein = new InputStreamReader(new FileInputStream((filename)), inputencoding);
      BufferedReader eingabe = new BufferedReader(ein);

System.out.println(" Loading data from file " + filename +" using encoding " + inputencoding + "...");

while((c = eingabe.readLine()) != null)
stringbuffer.append(c);

      eingabe.close();
      String str = stringbuffer.toString();
      System.out.println(" Finished loading data...");
      return str;
    }
    catch ( IOException e ) {
      System.out.println(" Error reading file " + filename + ": " + e );
    }
    String str="Error reading input file."
    return str;
} 
      
      
}

 

[MPW]

hm....aber wenn ich mir das mal so überlege, ein 10 MB Textfile würde ich auf jeden Fall mit einem Thread einlegen und währenddessen schonmal was anderes im Programm machen lassen, weil sowas dauert auch mit Word oder einem Editor 'nen Momentchen....

 

[byte]

was benutzt du denn für nen texteditor, wenn er bei ner 10 MB datei lange rechnen muss? was word da macht, will ich besser gar nicht wissen ... :bae:

habe keine große textdatei zur hand, aber eine 1MB große datei liest man mit nem bufferedreader in null komma nix ein. bezweifel dass ne 10MB datei großartig länger dauert.

und was willst du da parallelisieren? ???:L

 

[Sky]

Nur mal zum Vergleich: Ich habe ein Tool, was Dateien auswertet. Das reine Einlesen einer Datei (> 1,2 Mio Zeilen; ~ 38MB) dauert weniger als 3 Sekunden auf einem 2,4 GHz-Rechner.

 

[MPW]

hm...okay, dann liegt's wohl nicht daran, muss an was anderem liegen...