Input/Output Wörter zählen & sortieren

[banshee]

Hallo,

wie lese ich denn am effizientesten eine große Textdatei (z.B. mehrere hundert Seiten) ein, sodass ich die benutzen Wörter am Ende in einer Collection habe? Ich stehe halt schon vor der Frage, lese ich zeilen- oder wortweise ein (zeichenweise dauert wahrscheinlich zu lang). Die Wörter würde ich dann einfach in einem Hashtable speichern, sodass ich die Vorkommen einzelner Wörter einfach zählen kann. Und am Ende kann ich dann ja sortieren oder anderweitig damit rumspielen.

Oder geht das noch besser?

 

[AmunRa]

Sehr gut für große Datein ist hier immerRandomAccessFile (Java Platform SE 6)

 

[banshee]

okay und wie genau? Ich sehe im Moment nur den Unterschied, dass man wahlfreien Zugriff hat, nicht dass es effizienter wird. Und wie immer gibts ja tausend verschiedene Möglichkeiten, darauf zuzugreifen. Lese ich da jetzt byteweise in einen Puffer oder charweise bis zum nächsten Trennzeichen oder das gesamte file in einen Puffer oder zeilenweise in Strings oder oder oder?

 

[AmunRa]

Das hängt immer von der Art und Weise ab, wie dein File das du lesen möchtest, aufgebaut ist.

Es gibt eben nicht die Eierlegendewollmilchsau. Wenn die Struktur in dem File zeilenweise ist dann solltest du wohl zeilenweise Einlesen. wenn überhaupt keine Struktur vorhanden ist. dann wohl eher zeichenweise.

 

[Landei]

Nimm eine TreeMap anstelle der Hashtable, dann kannst du die Wörter zählen, und sie werden "automatisch" (beim Einfügen) sortiert.

 

[banshee]

Ich checke irgendwie gerade gar nicht, was da passiert. Wenn ich einfach ABCDEFGHIJKLMNOPQRSTUVWXYZ in eine txt schreibe, diese einlese und dann immer readByte aufrufe, liest er mir E, N und W aus, wobei der file pointer bei den Zugriffen 0, 9 und 18 ist. Wie lese ich denn jetzt ein einzelnes Zeichen? Ein char liest ja bekanntlich gleich zwei bytes...

/edit: Es wird noch besser: Folgendes liest mir im ersten while-Durchlauf aus selbiger Datei den String G..Z ein:

try
		{
			String line;
			RandomAccessFile textfile = new RandomAccessFile("test.txt","r");
			TreeMap<String, Long> map = new TreeMap<String, Long>();
			
			while((line = textfile.readLine()) != null)
			{
				...
			}
		}
...

Das hier liest mir beim ersten readLine() E..Z ein:

try
		{
			String line;
			RandomAccessFile textfile = new RandomAccessFile("test.txt","r");
			line = textfile.readLine();
			TreeMap<String, Long> map = new TreeMap<String, Long>();
			
			while((line = textfile.readLine()) != null)
			{
				...
			}
		}

Und wenn ich den try/catch-Block kopiere und einfach vorher nochmal einfüge, wird an der gleichen Anweisung C..Z ausgelesen.
Jetzt weiß ich, wieso es RandomAccessFile heißt...

/e2: Ich verstehe das nicht. Ich lasse mir den FilePoint for meinem ersten read ausgeben, der steht auf 0, dann führe ich entweder ein readByte() oder readLine() aus und das erste eingelesene Zeichen ist immer das E. Wieso überspringt er die 6 Zeichen vorher? Bei anderen Textdateien überspringt er eine andere, zufällige Anzahl von Zeichen. Mal eins, mal fünf, usw.

 

[Landei]

Was machst du mit dem Inhalt von line in Zeile 5? Soweit ich das sehe, gar nichts...

 

[banshee]

Ja, der Code ist an sich wahrscheinlich weniger sinnvoll. Ich hab mir das erstmal im Debugger angeschaut um festzustellen, dass da völliger Mumpitz rauskommt (oder ich das System nicht verstehe)

 

[banshee]

Kann es sein, dass die TreeMap doch nicht das richtige für mich ist? Ich will die Wörter nach values sortieren und nicht nach keys und treeMap.values() ist eine Collection<Long>, die ich dann nicht so einfach sortieren kann.

 

[Landei]

Ach so, eine TreeMap sortiert nur nach Keys. Man kann mit einem Comparator so tricksen, dass auch die Values berücksichtigt werden, aber ich bezweifle, dass das eine gute Idee ist. Ich würde nachträglich die Map.Entries in eine Liste packen und diese sortieren (dann ist auch völlig egal, welche Map-Implementierung du nimmst):

import java.util.*;
...

Map<String, Long> map = ...
List<Map.Entry<String,Long>> list = new ArrayList<Map.Entry<String,Long>>(map.entrySet());
Collections.sort(list, new Comparator<Map.Entry<String,Long>>(){
    public int compare(Entry<String, Long> one, Entry<String, Long> two) {
        int result = Long.valueOf(two.getValue()).compareTo(Long.valueOf(one.getValue()));
        return result == 0 ? one.getKey().compareTo(two.getKey()) : result;
    }
});

Das sortiert [c]list[/c] zuerst nach Value (absteigend) und bei "Gleichstand" nach Key.