Textfiles laden - egal welches Encoding

[peez]

Habe mir ein kleines Tool geschrieben, das mir einige Operationen auf Textfiles erlaubt, die ich öfters durchführen muss.

Jetzt war ich der Meinung, dass wenn ich die Encodings (UTF-8, ISO-8859-1, etc.) nicht explizit ändere, müsste doch eigentlich das selbe gespeichert werden was auch reinkam.

So lese ich eine Datei ein:

[highlight=Java]FileInputStream in = new FileInputStream(datei);
byte b[] = new byte[datei.length()];
in.read(b);
in.close();

String text = new String(b);
[/highlight]

Dann kommen beliebige Funktionen auf dem String text, z.B.

text = text.replace(":", ".");

Und jetzt wird wieder gespeichert:

[highlight=Java]
FileOutputStream out = new FileOutputStream(datei);
out.write(text.getBytes());
out.close();
[/highlight]

Leider bekomme ich bei UTF-8 Files nur Kauderwelsch an den Stellen mit Speziellen Zeichen raus.

Hab ich hier irgendwo einen Denkfehler?

 

[Wildcard]

getBytes liefert die bytes im Standardencoding. Hängt also davon ab was das default encoding deines OS ist.

EDIT: und wenn du einen String aus bytes erzeugt wird ebenfalls das Standardencoding verwendet, wenn du keins angibst.

 

[peez]

Hmm... Gibts irgendeine andere Möglichkeit, das zu machen ohne sich um das Encoding kümmern zu müssen? (Die Operationen dazwischen passieren sowieso nur auf Standard-Zeichen).

 

[Wildcard]

Nein. Du brauchst ein Encoding wenn du Strings einlesen und rausschreiben willst. Wenn du nur sehr einfache Operationen durchführen willst, kannst du direkt auf den bytes Arbeiten, aber um aus bytes einen String zu bauen müssen die bytes nunmal anhand eines Encodings interpretiert werden.

 

[peez]

Hmm mist ;-)
Was hälst du davon Java port of Mozilla's Automatic Charset Detection algorithm. ?

 

[Spacerat]

Weniger Schwierigkeiten beim lesen von reinen Textdateien hat man, wenn man FileReader statt FileInputStream verwendet. Die Tatsache, das dort kein Encoding im Konstruktor übergeben werden kann lässt vermuten, das es automatisch erkannt wird. Würde dort Standard-Encoding verwendet, müsste man zumindest ein anderes übergeben können.

 

[peez]

Weniger Schwierigkeiten beim lesen von reinen Textdateien hat man, wenn man FileReader statt FileInputStream verwendet.

Den FileReader habe ich auch schon durch. Der nutzt leider auch nur das Standard-Encoding.

 

[Spacerat]

Hmm mist ;-)

Wenn das so ist... genau...
Um das mal nach zu vollziehen...
[highlight=java]FileReader fi = new FileReader(datei);
char[] buf = new char[1024]; // Grösse beliebig veränderbar
int i;
Stringbuilder sb = new StringBuilder();
while((i = fi.read(buf, 0, buf.length)) != -1) sb.append(buf, 0, i);
String enc = fi.getEncoding(); // wieso existiert diese Methode?
// Wo doch standard verwendet wird? Was macht der StreamDecoder
// im FileReader? (Wenn der mal nicht versucht, das Encoding zu erkennen)
fi.close();
String text = sb.toString();
// Replacegeschichten...
FileWriter fo = new FileWriter(datei);
// fo.setEncoding(); // tja diese Methode gibts dagegen nicht. Seltsam.
// -> fo = OutputStreamWriter(new FileOutputStream(datei), enc); könnte helfen...
fo.write(text, 0, text.length());
fo.close();[/highlight]

 

[Wildcard]

Wenn das so ist... genau...
Um das mal nach zu vollziehen...

Vielleicht einfach mal Doku lesen?

Convenience class for reading character files. The constructors of this class assume that the default character encoding and the default byte-buffer size are appropriate.

 

[Spacerat]

Vielleicht einfach mal Doku lesen?

Das kommt erst, bevor es ausartet -> Decompile, Nervpost.
Durch das Nachvollziehen bin ich nun nicht nur darauf gekommen, dass wahrhaftig das Standard-Encoding verwendet wird, sondern auch darauf, das man vom FileReader bzw. FileWriter jeweils eine Klasse höher (InputStreamReader und OutputStreamWriter) gehen kann, und dort das Encoding vorgeben kann. So z.B. auch "UTF-8". Damit kann die Datei nun z.B. in ein CharBuffer gelesen werden, wo sie nach belieben untersucht und geändert werden kann. Wenn man Glück hat (bei HTML, XML usw.), kann man so nun auch erkennen, welches Encoding in der Datei verwendet wird und den CharBuffer aufgrund dieser Infos behandeln.
@peez: Das Paket hab' ich mir mal runtergeladen. Auf den ersten Blick könnte das was werden. Der beruht anscheinend auf "irgendwelchen" "Guess-Content-Tests". Die Ergebnisse sind also nicht 100%ig. Wenn man mit dem obigen Vorschlag also kein Glück hat, ruhig ausprobieren.