Problem beim auslesen von txt datei.

[Desilusionado]

Hi @ all,

Ich habe folgendes Problem:


Ich habe eine txt datei vorliegen, die in etwa so aussieht:

================================
wort [TABULATOR] zahl [TABULATOR] zahl
wort [LEER] wort [TABULATOR] zahl [TABULATOR] zahl
wort [LEER] wort [TABULATOR] zahl [TABULATOR] zahl
wort [TABULATOR] zahl [TABULATOR] zahl
zeichen [TABULATOR] zahl [TABULATOR] zahl

...
usw.

================================

Ich versuche grade ein programm zu schreiben, was die wörter aus diesem file filtert, sie zählt und am ende nach häufigkeit geordnet in nem neuen txt-file ausgibt...


Mein code sieht grad so aus:

import java.io.*;
import java.util.*;

class nohit
{

public static void main ( String[] args )
throws IOException
  {

StreamTokenizer st = new StreamTokenizer(new FileReader("nohits.txt"));

BufferedWriter bw = new BufferedWriter (new FileWriter ("words.txt"));


for ( int tval; (tval = st.nextToken()) != StreamTokenizer.TT_EOF; )

			{

      				if ( tval == StreamTokenizer.TT_WORD )
        			{

                  		bw.write(st.sval);
                  		bw.newLine();
					}



			}



       bw.close();




 }


}

Problem dabei ist, dass die Wörter, die im ersten Text in einer Zeile standen, nun auch als ein String gewertet werden sollen und somit auch wieder in der gleichen zeile ausgegeben werden sollen... Das ist in meinem code aber nicht der fall...



Deweiteren fehlt mir der Ansatz für das zählen und ausgeben... ich habe was von Treemaps, Arrays und Hash-Tabbellen gelesen... Was würdet ihr davon empfehlen?



Aso... die txt datei ist ca 500mb groß



Danke für eure Hilfe!

 

[Desilusionado]

Keiner ne idee?

Ich will keine fertigen codes... Aber son paar Stichwörter, oder Beschreibungen wären echt riesig nett... Steh grad aufm Schlauch und kann nix machn^^

 

[_tiGGa_]

du könntest dir eine hashmap aufbauen,
key = das wort
value = häufigkeit

du prüfst einfach ob es den key, also das wort, schon existiert,
wenn ja, dann liesst du den value aus, und erhöhst ihn, und speicherst die den wieder ab.

falls das wort noch nicht existieren solte, speicherst du einfach den key, und die 1

desweiten, wieso gehst du mit einer for-schleife durch deine datei?
dafür gibt es doch die while-schleife.
ich denke diese wäre noch performanter.

mfg

 

[Desilusionado]

Danke schonmal für die antwort...

du könntest dir eine hashmap aufbauen,
desweiten, wieso gehst du mit einer for-schleife durch deine datei?
dafür gibt es doch die while-schleife.
ich denke diese wäre noch performanter.

Stimmt natürlich irgendwie^^





Aber ich hab immernoch das problem, dass ich nicht weiss, wie ich vorgehen soll, wenn 2 wörter in einer zeile stehen. Diese Sollen ja dann als 1 String verarbeitet werden... Das heisst doch eigtl, dass ich jede zeile einzeln verarbeiten muss, oder?

Problem is ja, dass ich mit dem StreamTokenizer nich auf z.B. readLine() zurückgreifen kann..

Also wie bekomm ich die Zeilen einzeln bearbeitet?^^



Je mehr ich über das prog nachdenke, desto verwirrter bin ich :bahnhof:


mfg

 

[_tiGGa_]

kannst du es nicht mit einem BufferedReader einlesen?
dann kannst du doch den eingelesen String mit splitt() aufteilen,
so hättest du jedes einzelne Wort.

ich hoffe, ich hab dein Problem richtig erfasst.

mfg

 

[Desilusionado]

Also ich muss ja quasi mehrere etappen nehmen um zum ziel zu kommen:

- In dem Text is ja alles gemixt.... Wörter, Zahlen, Sonderzeichen. Davon sollen nur die wörter verwendet werden... Das klappt mitm StreamTokenizer recht gut

-Dann sind die zeilen unterschiedlich... In einigen steht nur ein wort, in anderen 2 Wörter. Diese 2 Wörter müssen dann irgendwie zusammen gepackt werden (In Array, Hash, oder sonstiges). Dementsprechend müssen die Zeilen einzeln bearbeitet werden. Wenn ich jetz nen BufferedReader verwende, um dann die zeilen per readLine() auszulesen, bekomm ich einen String, den ich nicht mitm StreamTokenizer bearbeiten kann. Dafür könnte man dann den StringTokenizer verwenden, aber der kann nicht zwischen zahlen und Wörtern unterscheiden und gibt mir somit alles aus.

Also ich bräuchte quasi nen StreamTokenizer (also etwas, was die Wörter ausm Text raussucht), den ich auf einzelne Zeilen anwenden kann (der also mit Strings umgehen kann und nicht nur mit Streams)

- Und dann müssten die gefilterten Wörter oder Wortverbindungen in son Hash dingens o.Ä. geschrieben werden und dort gezählt werden...




Ich glaube, dieses splitt() bringt mir nix, da ich damit doch nich speziell wörter filtern kann, oder?


Du siehst... Probleme über Probleme^^


mfg

 

[madboy]

Diese 2 Wörter müssen dann irgendwie zusammen gepackt werden (In Array, Hash, oder sonstiges).

Was meinst du mit "zusammen gepackt"?
Es wäre auch hilfreich, wenn du "Wort" definieren würdest. Ist z.B. "123bla" ein Wort?
Anders gefragt: Welche Zeichen darf ein "Wort" enthalten, um ein Wort zu sein?

Ob ein String eine Zahl ist kannst du mit

String bla = "wort";
if(bla.matches("\\d+")) {
  //bla ist eine Zahl
} else {
  //bla ist keine Zahl
}

 

[Desilusionado]

k.... kleiner ausschnitt aus der txt:

cholesterol 5 135
, serum 5 136
serum uric 5 137
uric 5 138
acid 5 139

Wörter sollen nur die "Zeichenketten" sein, die ausschließlich Buchstaben enthalten. Keine Sonderzeichen oder Zahlen.



Mit zusammengepackt mein ich, dass 2 wörter zu einem String zusammen gefügt werden müssen. Also konkret auf den Auszug oben bezogen, mein ich, dass das wort "cholesterol" ein String darstellt, aber die beiden wörter "serum" und "uric" (Zeile 3) zusammen als ein String "serum uric" behandelt werden sollen.

Und diese Strings sollen ja am ende zwischengespeichert werden, um sie anschließend geordnet ausgeben zu können. Die soll in Arrays, Hashs, o.Ä. passieren...

War das jetz verständlich? Fragt ansonsten bitte nach^^

if(bla.matches("\\d+"))

Kann man sowas in der art auch für Sonderzeichen machn? Denn dann könnt ich ja prinzipiell den StringReader verwenden, da ich ja dann prüfen kann, ob es sich bei den vom StringReader erkannten worten auch wirklich um wörter handelt...





mfg

 

[madboy]

Ich würde das so ähnlich machen (ungetestet!). Ist nicht sonderlich elegant, aber sollte grob das tun, was du willst.

        BufferedReader reader = new BufferedReader(new FileReader("datei.txt"));
        HashMap<String, Integer> map = new HashMap<String, Integer>();
        String line;
        while((line = reader.readLine()) != null) {
            String toRemember = "";
            String[] split = line.split("[ \t]");//[ \t] ist ein regulärer Ausdruck (regex). 
            for(String s : split) {
                if(s.matches("[A-Za-z]")) { //[A-Za-z] ist ein regulärer Ausdruck (regex)
                    toRemember += s + " ";
                }
            }
            
            if(map.get(toRemember) == null) {
                map.put(toRemember, 1);
            } else {
                map.put(toRemember, map.get(toRemember) + 1);
            }
        }

Für Infos zu String#matches() und String#split() siehe Forensuche oder Suchmaschine deiner Wahl nach "regex"


EDIT:

Kann man sowas in der art auch für Sonderzeichen machn? Denn dann könnt ich ja prinzipiell den StringReader verwenden, da ich ja dann prüfen kann, ob es sich bei den vom StringReader erkannten worten auch wirklich um wörter handelt...

Kann man. Siehe "regex".

 

[Desilusionado]

alles klar... danke erstmal soweit...


Werd mich dann mal weiter dran versuchen....

 

[Gelöschtes Mitglied 5909]

hab das irgendwan auch mal gemacht, blos ohne Zahlen und ausgabe auf der konsole...

import java.io.FileReader;
import java.io.LineNumberReader;
import java.util.Iterator;
import java.util.TreeMap;

public class Wordcount {

    public static void main(String args[]) {
	TreeMap<String, Integer> words = new TreeMap<String, Integer>();
	LineNumberReader r;
	int count = 0;
	try {
	    r = new LineNumberReader(new FileReader("words.txt"));
	    String line;
	    while ((line = r.readLine()) != null) {
		count++;
		if (words.get(line) == null)
		    words.put(line, 1);
		else
		    words.put(line, words.get(line) + 1);
	    }
	    r.close();
	} catch (Exception e) {
	    e.printStackTrace();
	}
	Iterator<String> iter = words.keySet().iterator();
	while (iter.hasNext()) {
	    String key = iter.next();
	    System.out.println(key + " " + words.get(key));
	}
	System.out.println("================");
	System.out.println("Wörter: " + count);
    }

}

 

[Desilusionado]

nun hänge ich mal wieder an der erkennung der Wörter... Ich hab mir mal dieses regex angeguckt.

Mein COde sieht jetz so aus:

import java.io.*;
import java.util.*;
import java.util.regex.*;

class nohit
{

public static void main ( String[] args )
throws IOException
  {

		BufferedReader reader = new BufferedReader(new FileReader("nohits.txt"));


        String line,word,token;

        while((line = reader.readLine()) != null) {

        word = "";

        StringTokenizer st = new StringTokenizer(line);

        while (st.hasMoreTokens()) {


			token = st.nextToken();


  			Pattern p = Pattern.compile ("[A-Za-z]");
			Matcher m = p.matcher(token);
			boolean b = m.matches();


			if(b==true){

		       word = word + " " + token;
			}



		   }

		   System.out.println(word);

	   }

     }



}

Er erkennt halt immernoch keine wörter.... wenn ich die Abfrage bei b==true lasse, dann gibt er nur leere Zeilen aus. Wenn ich sie auf false stelle, gibt er weiterhin alles aus, Zahlen, Wörter, Zeichen.

Jemand ne idee?


mfg

 

[Desilusionado]

k... prob gelöst....

import java.io.*;
import java.util.*;
import java.util.regex.*;

class nohit
{

public static void main ( String[] args )
throws IOException
  {

		BufferedReader reader = new BufferedReader(new FileReader("nohits.txt"));


        String line,word,token;

        while((line = reader.readLine()) != null) {

        word = "";

        StringTokenizer st = new StringTokenizer(line);

        while (st.hasMoreTokens()) {


			token = st.nextToken();


  			Pattern p = Pattern.compile ("[A-Za-z]");
			Matcher m = p.matcher(token);



			if(m.find()){

		       word = word + " " + token;
			}



		   }

		   System.out.println(word);

	   }

     }



}

 

[Desilusionado]

oki doki.... Ich stehe kurz vorm Ziel und brauch nochmal Hilfe... Gleich isses geschafft *freu*

Der Code sieht jetzt so aus:

import java.io.*;
import java.util.*;
import java.util.regex.*;

class nohit
{

public static void main ( String[] args )
throws IOException
  {

		BufferedReader reader = new BufferedReader(new FileReader("nohits.txt"));

		TreeMap<String, Integer> words = new TreeMap<String, Integer>();

		BufferedWriter bw = new BufferedWriter(new FileWriter("words.txt"));

        String line,word,token;



        while((line = reader.readLine()) != null) {

		word = "";

        StringTokenizer st = new StringTokenizer(line);

        while (st.hasMoreTokens()) {


			token = st.nextToken();


			Pattern p = Pattern.compile ("[A-Za-z]");
			Matcher m = p.matcher(token);


			if(m.find()){


		    	word = word + " " + token;
			}



		   }

			if (words.get(word) == null) words.put(word, 1);
			else words.put(word, words.get(word) + 1);

			}

			Iterator<String> iter = words.keySet().iterator();
   			while (iter.hasNext()) {
       		String key = iter.next();
       		bw.write(words.get(key) + " " + key);
            bw.newLine();
       		    }

			bw.close();

     }



}

Problem ist nun, dass mir die Wörter zwar geordnet aus der Treemap ausgegeben werden, diese aber alphabetisch geordnet sind. Ich möchte die ausgabe aber nach der Häufigkeit der Wörter sortiert haben... Kann mir da jemand helfen?

 

[Desilusionado]

Plz Help me guys!


Das Problem wird ja irgendwo ab zeile 53 bestehen... Theoretisch will ich ja quasi die Treemap-Inhalte nach dem value statt dem key geordnet ausgeben, oder?

Macht man das dann mit dem valueSet() ? Denn das würde ja dann für den Iterator wiederum nen Integer verlangen, aber ich kann den key nicht vom value ableiten, oder? Das ginge doch schon von der seite her nicht, dass ja einige values doppelt vorkommen...

Ich bin schonwieder verwirrt :bahnhof:

 

[Desilusionado]

:cry: :cry: :cry:

3h APIs durchforstet... ich blick einfach nich durch? Wie kann ich denn so ne verdammt Treemap nach den values sortieren? Geht das überhaupt?

Hilft mir diese SortedMap irgendwie weiter? oder Collection bzw sorted collection???



Hilfe leuts! Ich brauche euch

 

[madboy]

hmmm. So weit hab ich nicht gedacht...
Mit einer Map wird das wohl aufwändig bzw. läuft auf das gleiche raus wie folgendes:

Am besten machst du dir eine Klasse "Pair", implementierst comparable und überschreibst "equals()".

class Pair implements Comparable <Pair> {

    private int number = 0;
    private String word = "";
    
    public Pair(String word, int number) {
        this.word = word;
        this.number = number;
    }
    
    public int getNumber() {
        return number;
    }
    
    public String getWord() {
        return word;
    }
    
    public int compareTo(Pair o) {
        if(o.getNumber() > this.number) {
            return 1;
        } else if(o.getNumber() < this.number) {
            return -1;
        }
        return 0;
    }

    public boolean equals(Object o) {
        if(o instanceof Pair) {
            Pair p = (Pair) o;
            if(p.getWord().equals(this.word) && p.getNumber() == this.number) {
                return true;
            }
        }
        return false;
    }

}

Objekte dieser Klasse packst du dann in eine ArrayList oder ähnliches und machst damit

List list = ...
Collections.sort(list);

Eins noch: rücke deinen Code besser ein. So wie er da steht, sieht man nicht gut welche schließende Klammer wo hin gehört

 

[Desilusionado]

sry, hab noch nie mit so unterschiedlich klassen gearbeitet...

Was genau macht jetz die class Pair und was gibt sie letztendlich aus? Also was genau muss ich denn dann in ne ArrayList schreiben?


(Is wohl ganz gut, dass sich das Thema bei den Anfängerfragen befindet^^)

 

[madboy]

Was genau macht jetz die class Pair und was gibt sie letztendlich aus?

Die Klasse hält deine Daten, die du sonst in die Map gepackt hast.

Kopiere einfach das, was ich gepostet hab unter die letzte schließende Klammer in deiner Datei.

Dann ersetze "TreeMap<String, Integer> words = new TreeMap<String, Integer>();" durch "TreeMap<String, Pair> words = new TreeMap<String, Pair>();"
und "words.put()" durch "words.put(word, new Pair(word, 1));"

zur Übung darst noch eine "setNumber(int number)"-Methode zur Klasse "Pair" dazu schreiben und verwenden, um die Anzahl für ein Wort hochzuzählen :wink:


Dann hier lesen: http://www.galileocomputing.de/openbook/javainsel6/javainsel_03_001.htm#Xxx999360

 

[Desilusionado]

und "words.put()" durch "words.put(word, new Pair(word, 1));"

Dann sieht das so aus:

if (words.get(word) == null) words.put(word, new Pair(word, 1));
			else words.put(word, new Pair(word, 1));

aber das macht doch kein sinn? Der zählt ja dann nich hoch, oder? In diesem fall würde doch immer ein neues Pair angelegt werden, richtig?

 

[madboy]

aber das macht doch kein sinn? Der zählt ja dann nich hoch, oder? In diesem fall würde doch immer ein neues Pair angelegt werden, richtig?

haargenau. Daher braucht die Klasse "Pair" noch eine "setNumber(int number)"-Methode.
Mit der kann man dann sowas machen:

...
else {
  Pair thePair = words.get(word);
  thePair.setNumber(thePair.getNumber() + 1);
}
...

 

[Desilusionado]

irgendwie versteh ich grad nur bahnhof, was dies Pair-Klasse angeht... Ich glaub, mir fehlt da irgendwie n ziemlich elementarer Teil in Java^^



Also mal von Prinzip was passieren müsste:


das herausgefundene wort wir trotzdem noch in ne Treemap geschrieben (?) aber zusätzlich wird noch in der klasse Pair geprüft, ob das wort schon als Pair vorhanden is ????

Hab grad irgendwie n brett vorm kopf sry^^

 

[madboy]

Ich glaub, mir fehlt da irgendwie n ziemlich elementarer Teil in Java^^

genau ;-)

lies dir am besten ein paar Seiten von dem Link, den ich vorher gepostet hab. Da wird alles erklärt. Am Anfang ist das Denken in Klassen recht gewöhnungsbedürftig (ging mir jedenfalls so). Aber lass dich nicht davon abschrecken. OOP ist was feines (OOP = Objektorientierte Programmierung, also mit Objekten werkeln)

Java besteht im großen und ganzen nur aus Klassen. Beispiele sind
String,
Integer (nicht int!),
TreeMap, ...

Auch dein bisheriges Programm besteht aus einer Klasse.



Das wird wohl nicht die eleganteste Methode sein, was ich gepostet hab. Aber da du noch nicht so viel Ahnung zu haben scheinst, ist das eine gute Übung.

das herausgefundene wort wir trotzdem noch in ne Treemap geschrieben (?) aber zusätzlich wird noch in der klasse Pair geprüft, ob das wort schon als Pair vorhanden is ????

genau. Du musst die Instanzen von Pair auch wieder finden. Daher die Platzierung in einer Map. Muss keine TreeMap sein. Irgendwas halt, womit du die Instanz finden und wieder verwenden kannst.

 

[Desilusionado]

oh mann... Warum muss dat nur so kompliziert sein?^^ ???:L


da lob ich mir doch dat simple php... Najut... ich les mal die seite da... :###


mist... und ich dachte, ich wär so kurz vorm ziel ... Werd ich wohl heute doch nich mehr fertig



Danke erstma soweit...

 

[Desilusionado]

So... Nu habsch mir mal n paar dokumentationen zu Java bzw. OOP durchgelesen und die Thematik zumindest halbwegs verstanden...


Was mir noch unklar ist, ist wie die Variablen von einer Klasse zu ner anderen übergeben werden... Also in meinem Fall von nohit zu Pair...

Desweiteren versteh ich vom Prinzip her nich, was diese Pair class gerade macht. Was genau hat es mit diesen ganzen returns auf sich?

Es ist mir immernoch ziemlich unklar, wie ich jetz diesen Zähler dort reinbringen soll...

Was genau wird denn eigtl am ende ausgegeben? Ich hab ja dan quasi ne map mit 2x dem wort und einer zahl (Word <-> Pair)

Wie geb ich das am ende aus, bzw wie ordne ich das?



Pls help^^

 

[madboy]

Was mir noch unklar ist, ist wie die Variablen von einer Klasse zu ner anderen übergeben werden... Also in meinem Fall von nohit zu Pair...

Daten werden normalerweise über Methoden übergeben. Beispiele:

public static void main (String[] args) {
...
}

public void setNumber(int number){
  this.number = number;
}

Im ersten Fall übergibt der Aufrufer ein String-Array an die main-Methode, welche ja der "Startpunkt" des Programmes ist.
Im zweiten Fall übergeben wir nur einen int. Aufgerufen wird z.B. setNumber folgendermaßen:

instanz.setNumber(5);

Desweiteren versteh ich vom Prinzip her nich, was diese Pair class gerade macht. Was genau hat es mit diesen ganzen returns auf sich?

Pair ist eine einfache Datenhaltungsklasse. Da steckt man Daten rein (in unserem Fall einen String und einen int) und kann dann irgendwas damit machen. Pair ist wohl nicht das anschaulichste Beispiel...

Stell dir ein Auto vor. Dieses Auto hat verschiedene Eigenschaften. Zum Beispiel gibt es einen Tank mit einer bestimmten Menge Benzin drin, einen Kilometerzähler, der eine Zahl anzeigt, eine Typbezeichnung,...
Als Klasse würde das so ungefähr aussehen

class Auto {
String typbezeichnung = "Ford Mustang";
int gefahreneKilometer = 50;
int tankfüllung = 12;
}

Diese Daten können nun abgerufen oder auch geändert werden. Das macht man üblicherweise mit setXXX und getXXX Methoden.

Ach ja: public int compareTo(Pair o) und public boolean equals(Object o) müssen hier implementiert werden, um Collections.sort() zu sagen, wie es sortieren soll (vereinfacht ausgedrückt).

Was "return" macht, weißt du, oder? Anders gefragt: was genau ist dir da nicht klar?

Es ist mir immernoch ziemlich unklar, wie ich jetz diesen Zähler dort reinbringen soll...

Wenn Pair eine setNumber()-Methode hat, kannst du mit der "zählen":

//für Pair:
    public void setNumber(int number) {
        this.number = number;
    }

//zählen:
Pair thePair = words.get(word); //gibt das gesuchte Pair zurück
thePair.setNumber(thePair.getNumber() + 1); //erhöhe number um eins

Was genau wird denn eigtl am ende ausgegeben? Ich hab ja dan quasi ne map mit 2x dem wort und einer zahl (Word <-> Pair)

Wie geb ich das am ende aus, bzw wie ordne ich das?

        List<Pair> pairList = new ArrayList<Pair>(); //muss leider sein, da Collections.sort() eine List erwartet.
        pairList.addAll(words.values());
        Collections.sort(pairList); //sortieren
        for(Pair p : pairList) { //ausgeben
            System.out.println(p.getWord());
        }

Wie schon gesagt: das ganze ist nicht sonderlich elegant. Leider. Aber zum Lernen hoffentlich nicht ganz ungeeignet.
Hoffe, das alles hat dich jetzt nicht noch mehr verwirrt :wink:

Eins noch: mit PHP lässt sich auch Objektorientiert programmieren. Genau so, wie in Java auch mehr oder weniger funktional programmieren lässt
Von da her ist der Unterschied zwischen Java und PHP nicht mehr so groß :wink:

 

[Desilusionado]

k... hab jetz das Programm und es läuft soweit... Hab jetzt einfach mein Prog mit deinen VOrschlägen und noch anderen codeschnipseln gemischt, und es hat sogar gefunzt... juhuuu^^

Es is schon irgendwie ungewohnt, dieses denken in Instanzen und Co.... Aber langsam hab ich es denk ich...


Danke für die Geduld und die Hilfe!!!!