Problem mit Lesen und Speichern und Verarbeiten von großen Text Dateien

[carknue]

Hallo,

ich bin Java Anfänger. Ich habe vorher mit Python auf Symbian Handys programmiert. Nun bin ich auf das Android Handy G1 von Google umgestiegen und möchte mein Programm in Java umschreiben damit es auf Android läuft.

Dabei bin ich nun auf auf folgendes Problem gestoßen. Und zwar muss ich recht große Textdateien einlesen, verarbeiten und speichern. Jede Zeile ist dabei ein Datensatz. Diese Text Dateien sind teilweise 9.5Mb groß und können 57.000 Zeilen haben. Unter Python konnte ich diese Dateien ganz einfach als Liste einlesen, also liste = file.readlines(). Diese Python Liste hat im Hauptspeicher nicht viel mehr Platz belegt wie die Datei groß war. Und ich konnte mit selbgebauter binärer Suche und der eingebauten schnellen sort Methode blitzschnell auf alle Datensätze zugreifen.

Nun habe in in Java noch nicht den vollen Überblick und habe bisher nur die ArrayList entdeckt, die meine Wünsche erfüllen sollte. Zumindest das Verarbeiten geht genauso, wie mit den Python Listen. Direkter Zugriff per index auf die einzelnen Zeilen. Aber die ArrayListen scheinen mehr Speicherplatz im RAM zu belegen. So ist es mir nicht möglich die 9,5MB Datei zu laden, obwohl Android jedem Programm 16 MB zur Verfügung stellt. Das Problem is wohl, dass bei java Strings jeder Character mit 2 Byte gespeichert wird. Also werden die 9,5MB Daten in der ArrayList 19 MB groß und das ist zu viel für Android.

1. Frage wie kann ich die große Datei einlesen, so dass sie im Hauptspeicher nicht wesentlich mehr Speicher belegt? Ich muss die einzelnen Zeilen aber per index aufrufen können, Zeilen löschen oder hinzufügen und sortieren können.

2. Wie speichere ich diese Daten dann wieder möglichst schnell?

Angehängt habe ich den Code, wie ich bisher die Datei in eine Arraylist lade und wieder speicher. Die Speicher Methode funktioniert aber nicht korrekt. Alle Zeilenumbrüche gehen verloren und komische Steuerzeichen werden hinzugefügt. Außerdem dauert das Speichern mit über 30 Sekunden bei einer 3 MB Datei recht lange.

public void writeFile(final ArrayList<String> liste, String filename) {
         try{
             FileOutputStream fos = new FileOutputStream(filename);
             ObjectOutputStream oos = new ObjectOutputStream(fos);

             oos.writeObject((ArrayList<String>) liste);
             oos.flush();
             fos.close();
             }
             catch(Exception e){}
     }
     
     public static ArrayList<String> loadFile(String fileName)
        {
            if ((fileName == null) || (fileName == ""))
                throw new IllegalArgumentException();
            
            String line;
            ArrayList<String> file = new ArrayList<String>();

            try
            {    
                BufferedReader in = new BufferedReader(new FileReader(fileName));

                if (!in.ready())
                    throw new IOException();

                while ((line = in.readLine()) != null)
                    file.add(line);

                in.close();
            }
            catch (IOException e)
            {
                System.out.println(e);
                return null;
            }

            return file;
        }

 

[Ark]

import java.io.*;
import java.util.*;

public class XXX{

	public void writeFile(final ArrayList<String> liste,String filename) throws IOException{
		ObjectOutputStream oos=new ObjectOutputStream(new BufferedOutputStream(new FileOutputStream(filename)));
		oos.writeObject(liste);
		oos.flush();
		oos.close();
	}

	public static ArrayList<String> loadFile(String fileName)
		throws IOException{
		String line;
		ArrayList<String> file=new ArrayList<String>();
		ObjectInputStream in=new ObjectInputStream(new BufferedInputStream(new FileInputStream(fileName)));
		while((line=in.readLine())!=null) file.add(line);
		in.close();
		return file;
	}
}

Vorsicht! Völlig ungetestet; ich bezweifle selbst, dass das viel weiterhilft! Ich glaube sogar, das ist sowieso falsch ...

Die Methode readLine() ist an dieser Stelle aber wohl aus guten Gründen deprecated. Um Ersatz zu finden, müssest du schon genauer darlegen, was du erreichen willst.

Ark

EDIT: Ja, klar, das ist natürlich alles völlig falsch, die beiden Methoden sind ja nicht einmal im Ansatz symmetrisch!

Korrektur folgt, Moment ...

 

[Ark]

So, zweiter Anlauf:

import java.io.*;
import java.util.*;

public class XXX{

	public static void writeFile(final ArrayList<String> liste,String filename) throws IOException{
		BufferedWriter bw=new BufferedWriter(new OutputStreamWriter(new FileOutputStream(filename)));
		for(String string:liste) bw.write(string);
		bw.flush();
		bw.close();
	}

	public static ArrayList<String> loadFile(String fileName) throws IOException{
		ArrayList<String> res=new ArrayList<String>();
		BufferedReader in=new BufferedReader(new InputStreamReader(new FileInputStream(fileName)));
		String line;
		while((line=in.readLine())!=null) res.add(line);
		in.close();
		return res;
	}
}

Das sollte wohl mehr in deine Richtung gehen, vermute ich mal. So oder so sieht das aber alles nicht sehr objektorientiert aus; das könnte auf einen Designfehler hindeuten.

Ark

 

[carknue]

Vielen Dank Ark, habe Deine beiden Vorschläge mal auf dem Handy ausprobiert.

Die writeFile Methode ist wesentlich schneller, nur noch 3 Sekunden, statt vorher fast 30. Das Lesen dauert jetzt sogar länger, als das Speichern ???:L Allerdings fehlen, wie auch in meinem ersten Versuch immer noch alle Zeilenumbrüche, so dass die gespeicherte Datei wertlos wird.

Zum testen lese ich eine original Datei ein und speichere sie sofort wieder ab, die beiden Dateien sollten dann identisch sein, was sie aber bisher nicht sind.

Und dann bleibt noch die Frage, ob man statt einer ArrayList nicht etwas verwenden kann, was speicherschonender ist.

 

[faetzminator]

ja man kann natürlich nicht

bw.write(string);

schreiben, sondern muss noch die newline reinnehmen

bw.write(string.concat(NEW_LINE));

wobei du NEW_LINE wie folgt definierst

public static final String NEW_LINE = System.getProperty("line.separator");

 

[Ark]

@faetzminator: Stimmt, das NewLine-Zeichen habe ich vergessen (danke für den Tipp), lässt sich aber auch prima und wesentlich einfacher nachrüsten.

for(String string:liste){
	bw.write(string);
	bw.newLine();
}

Ark