Byte Order Mark (BOM) bei readLine() ignorieren

[kodela]

Hallo,

eine Textdatei mit Str8ts-Aufgaben soll mit readLine() zeilenweise eingelesen und ausgewertet werden. In jeder Zeile ist eine Aufgabe und jede Aufgabe hat genau 162 Zeichen. Das funktioniert alles einwandfrei, ausgenommen die erste Zeile. Sie macht Probleme wenn die Textdatei in UTF kodiert ist. Bei UTF-8 wird beispielsweise die Byte-Sequenz EF BB BF vorangestellt.

Wenn nun mit if (zeile.length() == 162) geprüft wird, ob es sich hinsichtlich der Länge um eine Str8ts-Aufgabe handelt, dann fällt natürlich die erste Zeile unter den Tisch, wenn die Datei UTF kodiert ist. Sie hat ja 165 anstatt 162 Zeichen, was dem Ersteller der Datei nicht unbedingt bekannt sein muss.

Man könnte natürlich die erste Zeile anders behandeln als den Rest der Datei. Das Problem ist nur, dass die Byte-Sequenz nicht immer gleich ist. Nicht einmal die Länge ist immer gleich.

Gibt es eine Möglichkeit, dieses Problem mit der BOM elegant zu umgehen?

MfG, kodela

 

[Robat]

Wenn es dir nichts ausmacht auf Libs zu setzen, dann könntest du dir mal die BOMInputStream Klasse der Apache Commons io Lib anschauen.
Ansonsten bleibt dir wohl nur übrig manuell auf das BOM zu prüfen und es zu entfernen.

 

[Meniskusschaden]

Gibt es eine Möglichkeit, dieses Problem mit der BOM elegant zu umgehen?

Wie liest du die Dateien denn ein? Vermutlich genügt es, dabei den richtigen Zeichensatz anzugeben.

 

[Meniskusschaden]

Man muß das BOM bei UTF8 ggf. wohl tatsächlich selbst entfernen (siehe hier). Oder eben Bibliotheken nutzen, wie @Robat es vorgeschlagen hat.

 

[Wurstkopp]

Einfacher Workaround wäre es die letzten 162 zeichen zu lesen (ggf. nur in der ersten Zeile):

line.substring(line.length() - 162);

Prüfung ob die Zeile >= 162 Zeichen sollte dann noch dazu

 

[kodela]

Danke allen!

Ich habe nun folgende Lösung gefunden:

    try (BufferedReader br = new BufferedReader(new FileReader(pfad))) {
        zeile = br.readLine();
        // eventuelles BOM für UTF-8 Kodierung ignorieren               
        if (zeile.startsWith("\uFEFF")) {
            zeile = zeile.substring(1);
        }
        do {
            if (zeile.length() == 162) {
                addStr8ts(zeile);
            }
            zeile = br.readLine();
        } while (zeile != null);
        br.close();
    }