große Textdatei filtern

[donchris]

Ich habe eine große Textdatei (~200MB) zu filtern. Leider gibt es keine Zeilen, sodass alles ein langer Block von Stichwörtern, getrennt durch Leerzeichen ist. Daher wollte ich zuerst mit Scanner.next(), aber die Datei ist zu groß und ich bekomme einen OutOfMemoryError. Danach habe ich einen BufferedReader probiert, doch hier kann man auch nicht readLine verwenden und jedes Zeichen einzeln auslesen und weiterverarbeiten ist doch sicherlich nicht performant.

Wie könnte ich das machen?? (Ich will nur alle ",", ".", ";", "." und "#" herausfiltern.

mfg
donchris

 

[SlaterB]

was spricht gegen das vorherige Thema?
http://www.java-forum.org/allgemeine-java-themen/111411-einfache-filterung-optimieren.html

chars direkt zu verarbeiten ist schon das performanteste, nicht unbedingt einzelne, aber wenn in 10000er Array gelesen

 

[Iron Monkey]

Hi donchris!

Mit RandomAccessFile kannst du das machen!

Schau dir das an (Es ist nur ein Beispiel): hier

Gruß
Iron Monkey

 

[donchris]

Ich habe jetzt folgendes Skript (ich habe eine tolle Webseite gefungen Articles: Tuning Java I/O Performance), das bis auf ein Problem sehr gut funktioniert. Damit kann ich einzelne Zeichen testen und ersetzten und das funktioniert recht schnell 135MB/ 1,4Minuten. Leider habe ich anscheinend ein Problem bezüglich Kodierung, da Umlaute etc. nicht korrekt dargestellt werden.

Bsp:
"oￂﾠyouￂﾠfindￂﾠaￂﾠbri"

in den Quadraten sind dann noch oft andere Zeichen wie ein F über einem C.

wie könnte ich damit eine UTF-8 codierte Datei korrekt parsen und dann ausgeben?

import java.io.*;
 public class HPFilter {
   public static void main(String args[]) {
   
    try {
	FileInputStream fis = new FileInputStream("/root/merge.txt");
      
      byte buf[] = new byte[2048];
          
      int n;
        while ((n = fis.read(buf)) != -1) {
          for (int i = 0; i < n; i++) {
          
          //zeichen filtern
            switch (buf[i]){
            case '.':
            	System.out.print(" ");
            	break;
            case ':':
            	System.out.print(" ");
            	break;
            case ';':
            	System.out.print(" ");
            	break;
            case '#':
            	System.out.print(" ");
            	break;
            case '*':
            	System.out.print(" ");
            	break;
            default :
            	System.out.print((char)buf[i]);
          }
        }
        }
        fis.close();
    }
    catch (IOException e) {
      System.err.println(e);
    }
  }
 }

 

[SlaterB]

FileReader, BufferedReader, notfalls InputStreamReader zur Angabe eines Encodings,
und dann char[] lesen, nicht byte[]

 

[donchris]

Jetzt sehe ich in der Ausgabe auf den ersten Blick keine "falschen Zeichen mehr", aber es fehlen welche:

“You an't rove t as e!” Promise ou on't ook!” Promise ou on't emember!” Promise ou on't ell!” I idn't rite y ame n t!” Isn't he nternet lready nonymous?”

 InputStream inputStream = new FileInputStream("/root/merge.txt");
    Reader reader = new InputStreamReader(inputStream, "UTF-8");

    int b;
        while ((b = reader.read()) != -1) {
//
}

 

[SlaterB]

vielleicht ist es kein UTF-8?
poste bitte eine Test-Datei im Original als Anhang eines Postings hier,

nur mit 1-2 Zeilen, keine x MB

 

[donchris]

root@server ~ # file --mime xoutput4.txt
xoutput4.txt: text/plain; charset=utf-8

..also sollte es doch UTF8 sein, oder?

eine Probe befindet sich im Anhang. Die Datei habe ich per pdftotext erhalten (und hier wurde in der config utf8 gewählt).

 

[SlaterB]

den Text 'Promise', wie von dir vorher als Teil einer fehlerhaften Zeile gepostet, kann ich in down.txt nicht finden,
was bringt ein ANDERES Beispiel ohne Beschreibung von Problemen damit?

bei mir sieht die Datei unter Ubuntu im Texteditor und in Java gleich aus,
Probleme kann ich höchstens z.B. bei Zeichen vor '21C3: Firewall Piercing' feststellen, ein Zeichen zur Markierung von Listen-Elementen?

normaler Text wie 'Promise ou on't emember!' ist jedenfalls noch nicht zu testen

 

[donchris]

Mein Fehler! Ich habe die Input Datei gezeigt. Diese ist in UTF8. Aber wenn ich die Ausgabe meines Programmes in eine Datei Umleite, dann kommen die Fehler zu Stande und der Typ der Datei ist:

root@server ~ # file --mime fehler.txt
fehler.txt: application/octet-stream; charset=binary

Wie kann ich das Ändern?

 

[SlaterB]

es gibt alles analog, Chars nur mit FileOutputStream als bytes zu speichern kann Fehler enthalten,
höheres ist FileWriter, BufferedWriter, OutputStreamWriter für Angabe eines Encodings,

überall das Gegenstück, alles dasselbe, da du noch gar nichts zum Schreiben gepostet hast kann ich nicht mehr sagen,
oder gehts um System.out, wird das umgeleitet?

 

[donchris]

Es wird mit Sytem.out.print ausgegeben und dann per Pipe in eine Datei umgeleitet. Byte? Ich speichere es ja nun in einem int und wandle diesen in ein char um :bahnhof:

 

[SlaterB]

sammle die chars bitte nebenher testweise in einem char[], StringBuilder und/oder String,
printe diesen String, an System.out sowie nebenher in eine Datei, mit UTF-8-Encoding und normal ohne Extras

macht es einen Unterschied wenn du nicht aus einer Datei einliest, sondern die chars eines im Programm definierten Strings verarbeitest?

leite System.out erstmal nicht um sondern gib alles normal aus,
es muss doch möglich sein, "Hello World" und ähnliches auszugeben, das ist schließlich das erste Programm überhaupt


das sind keine konkreten Lösungen von mir, sondern bisschen Informationen sammeln in alle Richtungen,
was funktioniert alles, was nicht?

 

[donchris]

Jetzt habe ich alle Dateien gelöscht, wieder (gleich) geschrieben (aus dem Forum kopier) und jetzt geht es ohne Probleme ???:L

Danke für deine Hilfe (und Ausdauer)!