Eigener FilterReader

[lissy]

Hallo allerseits ;-)

Es geht darum, einen Text aus einer Textdatei zu lesen, zu filtern und anschließend auszugeben.
Soweit so gut. Syntaktisch funktioniert mein Code, allerdings kommt nicht das Gewünschte bei raus.

Generell sieht es so aus:
in der Main:

FileReader fr = new FileReader("text.txt");
FilterA filterA = new FilterA(fr);
while(filterA.read() != -1) System.out.print((char) filterA.read());
filterA.close();

und der Filter sieht so aus:

public FilterA(Reader in) {
        super(in);
    }

    @Override
    public int read() throws IOException {
        
        if (Character.toString((char) in.read()).matches("[^a-zA-Z0-9]")) {
             return ' ';
        } else {
             return Character.toLowerCase((char) in.read());
        }
    }

Läuft die Schleifen oben durch, kommt allerdings nicht wie gewünscht ein Leerzeichen für Sonderzeichen und Kleinbuchstaben raus, sondern irgendwas andres teilweise kryptischen, was ich mir nicht erklären kann.

Könnte mir jemand eine Tipp geben, woran es liegen kann?
UTF8 ist übrigens eingestellt beim Kompilieren.

1000 Dank :toll:

 

[SilverClaw]

Ich verstehe ja nicht ganz, was du da vor hast, aber es hinkt schonmal daran, dass in.read() immer eins weiter springt und wenn du es in deiner Bedingung aufrufst und danach nochmal in eine rAusgabe, dann sind das eben komplett verschiedene Zeichen. Speichere es zwischen, wenn es so sein muss.
Andererseits ist dein Weg wohl auch der ineffekticste, um Buchstaben aus einer Datei zu bekommen.
Speichere doch besser deine Datei (die du mit BufferedReader viel schneller einlesen kannst) zwischen (oder Teile davon, wenn sie sehr groß ist) und lass mit deinem regulären Ausdruck dann einen matcher drüber laufen.

 

[lissy]

Hey
danke schon mal für die Antwort.
Dass in.read() jedes Mal einen weiter springt, wusste ich noch nicht.

Kurz noch zum Ziel des Ganzen:
Alle Sonderzeichen sollen in Leerzeichen umgewandelt werden. Alle anderen Buchstaben sollen in Kleinbuchstaben umgewandelt werden.

Ich habe den Code jetzt nach deiner Empfehlung hin modifiziert.

FileReader fr = new FileReader("test.txt");
BufferedReader br = new BufferedReader(fr);
FilterA filterA = new FilterA(br);
while(filterA.read() != -1) System.out.print((char) filterA.read());
filterA.close();

und den Filter:

public FilterA(Reader in) {
        super(in);
    }

    @Override
    public int read() throws IOException {
        int c = in.read();
        
        if (Character.toString((char) c).matches("[^a-zA-Z0-9]")) {
             return ' ';
        } else {
             return Character.toLowerCase((char) c);
        }
    }

Leider ändert das nicht viel. Das Einlesen bzw. Ausgeben dauert auch enorm lange.

 

[SilverClaw]

Habe selbst mal kurz rumgebastelt, finde, dass es damit recht flott geht, aber war nun auch zu faul, mit eine wirklich große Datei zum testen zurecht zu legen.
Wenn ich es so starte, ist das Ergebnis eigentlich sofort da.
Je nachdem, wie du mit Zeilenumbrüchen umgehen willst, musst du es noch anpassen.

		StringBuilder builder = new StringBuilder(1024);
		BufferedInputStream bis = null;
		BufferedReader reader;
		try {
			reader = new BufferedReader(
					new FileReader(System.getProperty("user.home") + "\\Desktop\\conway.txt"));
			while(reader.ready()) {
			builder.append(reader.readLine() + "\n");
		}
		} catch (FileNotFoundException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		System.out.println(builder.toString().toLowerCase().replaceAll("[^A-z0-9]", " "));

 

[lissy]

Hi. Danke nochmals!

Umbrüche brauche ich keine mehr nach dem filterA.

Der BufferedInputStream wird bei dir nicht verwendet oder?
Eventuell hätte es daran liegen können.

Ansonsten muss ich mal schauen, ob ich nicht doch besser die reader(char[] cbuf, int offset, int len) verwende, um effektiver zu sein.

 

[SilverClaw]

Mit BufferedInputStream ginge es auch aber nextLine(); braucht halt weniger append-Befehle und war in dem fall bequemer.

habe überlegt, dass builder.toString().replaceAll("[^A-z0-9\n]", " ").toLowerCase() eventuell noch minimal schneller ist, weil er dann weniger Buchstaben "umwandeln" muss. Es köntnne aber auch Messfehler sein

 

[lissy]

In Ordnung. Der Unterschied spielt sich vermutlich im Nanosekundenbereich ab.
StringBuilder etc. kann ich in dem Filter nur leider nicht verwenden, weil man da ja lediglich einzelne Zeichen modifizieren kann.
:bahnhof:

 

[SilverClaw]

Anmerkung zu vorhin: ich glaube, der BufferedReader benutzt intern sowieso einen BufferedInputStream, aber nagel mich nciht darauf fest. :bahnhof:

In Ordnung. Der Unterschied spielt sich vermutlich im Nanosekundenbereich ab.

Möglich, aber ich verschwende ungerne Millisekunden (bei größeren Dateien), wenn es sich so einfach vermeiden lässt.
Ich verstehe aber dein Problem nicht. Ich dachte, es kommt raus, was du wolltest. Wofür solltest du die setCharAt()-Methoden rbauchen...oder meinst du die überhaupt? :autsch:

 

[lissy]

Ich verstehe aber dein Problem nicht. Ich dachte, es kommt raus, was du wolltest. Wofür solltest du die setCharAt()-Methoden rbauchen...oder meinst du die überhaupt? :autsch:

Nein, läuft noch nicht wie es soll.
Der Algorithmus macht z.B. noch aus einem H ein Leerzeichen, es soll aber ein h rauskommen.
Ich habe die Logik ein paar Mal manuell getestet und sie funktioniert wie gewollt.
Daraus schließe ich jetzt mal, dass immernoch das in.read() irgendwo dazwischenfunkt.

Der letzte Code, den ich gepostet haben, ist noch aktuell.
Bewirkt die Zuweisung

int c = in.read();

etwa auch ein Weiterspringen?

Dankeschön

 

[SilverClaw]

Welcher denn nun? Wenn ich in meine Datei H!XOOOO schreibe, kommt bei meiner Methode h xoooo
raus. Was du da machst, weiß ich ja nicht.

int c = in.read();

Bei jedem .read() wird das nächste Byte ausgelesen.

bei

int a = in.read();
int b = in.read();

wären a und b verschiedene Zahlen (sofern die Datei nicht shcon zu Ende ist und beide -1 ergeben...und natürlich, falls auch tatsächlich verschiedene Zeichen in der Datei stehen).

Um das in lesbare Zeichen umzuwandeln, reicht ein

char c = (char) a;

nicht aus.
Wenn a zum Beispiel 5 wäre und du auf UTF 8 gestellt hast, sollte dir das das 8. Zeichen deiner UTF-Tabelle ausgeben.

char c = (char) a + 'a';

dürfte helfen.

edit: bevor es wegen der Namen Verwirrung gibt. für char c = (char) h + 'a'
gilt das gleiche, es geht nur daum, dass das 'a' ja den Wert des ersten Kleinbuchstaben in der Code-Tabelle repräsentiert.

 

[lissy]

Ist ja merkwürdig ???:L

Also wie gesagt, das hier ist meine aktueller Code:

 FileReader fr = new FileReader("test.txt");
            BufferedReader br = new BufferedReader(fr);
            FilterA filterA = new FilterA(br);
            //FilterB filterB = new FilterB(filterA);
            //FilterC filterC = new FilterC(filterB);
            
            while(filterA.read() != -1) System.out.print((char) filterA.read());
            
            
            filterA.close();

und das der Filter:

import java.io.FilterReader;
import java.io.IOException;
import java.io.Reader;

public class FilterA extends FilterReader {

    public FilterA(Reader in) throws IOException {
        super(in);
    }

    @Override
    public int read() throws IOException {
        int c = in.read();
        if (Character.toString((char) c).matches("[^a-zA-Z0-9]")) {
            return ' ';
        } else {
            return Character.toLowerCase((char) c);
        }
    }
}

Und raus kommt nicht das Richtige
Ich habe die Befürchtung, dass sich alles noch um eine Stelle weiter verschiebt durch ein mögliches überflüssiges in.read(). Aber das einzige ist halt die Zuweisung zu

int c = in.read();

 

[SilverClaw]

Dir ist schon klar, dass du mit

while(filterA.read() != -1) System.out.print((char) filterA.read());

einmal für die Bedingung die read()-Methode aufrufst und dann wahrscheinlich nur jedes zweite Ergebnis ausgeben lässt?

Außerdem ist

(Character.toString((char) c).matches("[^a-zA-Z0-9]"))

weiterhin eine recht ineffektive Methode, weil du ja für jedes Zeichen erst von einem int in zu einem char und dann zu einem String convertierst und nebenbei mit matches() noch ein boolean hast...lass das einfach.
Trenne lieber das Einlesen der Daten und das Nachbearbeiten komplett, dann geht auch weniger schief, falls die Datei nicht gefundne wird oder kaputt ist. Im jetzigen Zustand ist dein FilteredReader einfach nur unnötig performancefressend und, wie du ja sehen kannst, schwer verständlich.

 

[lissy]

Ha, tatsächlich!
Statt der while-Schleife habe ich jetzt eine for gemacht und es scheint zu klappen.

Wegen dem Umwandeln muss ich mir noch etwas besseres überlegen.

Vielen Danke auf jeden Fall!:applaus: