line.separator: Problem beim Lesen einer Datei

[mAkL]

Moin.

Ich möchte die folgende Textdatei "test.txt" unter Windows und Linux lesen.

a
b

Das Zeilenende in "test.txt" ist durch CR LF markiert (Windows), file.encoding ist "cp1252". Genauer stehen in der Datei die Hex-Werte 61 0D 0A 62.
Zum Auslesen benutze ich folgenden Code:

import java.io.BufferedReader;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;

public class Test {

  public static void main(String[] args) throws IOException {

    BufferedReader br = new BufferedReader(new InputStreamReader(
        new FileInputStream("test.txt"), "cp1252"));
    int i;
    while ((i = br.read()) != -1) {
      System.out.println(i);
    }
  }
}

Unter Windows erhalte ich:

C:>java Test
97
13
10
98

Unter Linux:

foo@bar> java Test
97
10
98

Meine Frage: Gibt es eine Möglichkeit, den Reader so zu verändern, daß er unter Linux die Integer-Werte 13 und 10 für den Zeilenumbruch liefert?
Anmerkung: Was ich nicht ändern kann, ist das zeichenweise Auslesen der Datei mittels br.read().

Grüße, mAkL

 

[SlaterB]

ich erhalte unter Ubuntu auch
97
13
10
98
wenn ich die Datei von Windows rüberkopiere

 

[Der Müde Joe]

>Integer-Werte 13 und 10 für den Zeilenumbruch liefert?

Meinste sowas?

System.out.println((char)97);
System.out.println((char)13);
System.out.println((char)97);

 

[mAkL]

ich erhalte unter Ubuntu auch
97
13
10
98
wenn ich die Datei von Windows rüberkopiere

Das ist ja interessant! Was liefert dir denn ein
[c]System.out.println(System.getProperty("line.separator").length());
[/c] unter Ubuntu? Sollten das zwei Zeichen sein, bleibt die Frage, an welcher Stelle man diese Systemeigenschaft ändern kann. Ich dachte schon an

System.setProperty("line.separator", "\r\n");

, kann dabei aber nur Auswirkungen bei

System.out

feststellen und nicht bei den Readern.

>Integer-Werte 13 und 10 für den Zeilenumbruch liefert?

Meinste sowas?

System.out.println((char)97);
System.out.println((char)13);
System.out.println((char)97);

Nein, das Casten in einen Character hat mit meinem Problem nichts zu tun. Ich muß aus verschiedenen Gründen einen Reader benutzen, der ein Byte (also ein Zeichen) aus der Datei liest und mir dessen Integer-Repräsentation liefert. Bis auf den Zeilenumbruch funktioniert das auch. Findet der Reader im Beispiel oben jedoch unter Linux (bei mir läuft Debian) die Zeilenendezeichen von Windows, gibt er mir nur das eine Zeichen des Zeilenumbruchs von Unix. Für meine Anwendung ist das leider unbrauchbar.

 

[SlaterB]

> Was liefert dir denn ein System.out.println(System.getProperty("line.separator").length()); unter Ubuntu?

kann ich persönlich erst heute abend beantworten, vielleicht vorher wer anders

hast du die Datei aus dem Anhang probiert? auch mal nur per InputStream direkt Bytes laden, nicht chars?
was liefert File.length()? kann ja kaum sein, dass da ein char verloren geht

 

[Der Müde Joe]

1 (unter Ubuntu)

 

[bygones]

mal ne dumme frage:

warum nicht [c]br.readLine()[/c] und zeilenweise einlesen ?!

 

[mAkL]

>hast du die Datei aus dem Anhang probiert? auch mal nur per InputStream direkt Bytes laden, nicht chars?
was liefert File.length()? kann ja kaum sein, dass da ein char verloren geht

Ja, ich habe die Datei probiert. Gibt aber auch kein anderes Ergebnis.
Das mit dem direkten Lesen von Bytes hielt ich für aussichtsreich und habe daher meinen Test erweitert:

import java.io.BufferedReader;
import java.io.DataInputStream;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;

public class Test {

  public static void main(String[] args) throws IOException {

    BufferedReader br = new BufferedReader(new InputStreamReader(
        new FileInputStream("test.txt"), "utf-8"));
    int j;
    while ((j = br.read()) != -1) {
      System.out.println(j);
    }
	
    System.out.println("line.separator: "
	  + System.getProperty("line.separator").length() + " character(s)");
	  
    FileInputStream fis = new FileInputStream("test.txt");
	int i;
    while ((i = fis.read()) != -1) {
      System.out.println("byte value: " + i);
    }
  }
}

Ergebnis Windows:

C:>java Test
97
13
10
98
line.separator: 2 character(s)
byte value: 97
byte value: 13
byte value: 10
byte value: 98

Ergebnis Debian:

foo@bar> java Test
97
10
98
line.separator: 1 character(s)
byte value: 97
byte value: 10
byte value: 98

Und das verstehe ich nun wirklich nicht mehr... ???:L :bahnhof: Mit

fis.read()

lese ich doch byteweise, oder?

mal ne dumme frage:

warum nicht [c]br.readLine()[/c] und zeilenweise einlesen ?!

Das hängt mit meiner Anwendung zusammen. Ich implementiere kryptografische Methoden. Die Textdateien, die ich lesen will, sind also kein vernünftiger Text, sondern sehen eher so aus:

KY></37;5:;x??X/;/;3?/XQ/837±4#±Echchcht5;3ex8:/;3 /X<P3X83Q/;3:5eQ/8/83r;x3Q
/;3#5?og</;P3ax;3/m385Y>3/X8ixY>P3QX/chdn88/;3A583Q/83d/??/83Sg3<;
/88/83C?X<g8</;3xgY>3KY></3dn88/;3g8Q3dLmeX
;/mm/;ch:/8x88<Vl3KY></3dn88/;3o;5:;x??X/;</83#5?og</;P3g8Q3dLmeX
;/mm/;3eX/Z/83/mch,e/X,/8l3KX83/Y></;3#5?og</;

Jedes Zeichen in einer solchen Datei hat einen gewissen Informationsgehalt, auch ein CR bzw. ein LF. Es sind auch (andere) Steuerzeichen möglich (z.B. die Hex-Werte 00, 01, 02 usw.). Ich kann also nicht einfach mit [c]br.readLine()[/c] lesen und auf das eine oder andere Zeichen verzichten, das auf dem Weg bleibt. Es klappt auch (fast) alles wunderbar, die Zeichen CR und LF werden richtig verarbeitet, sofern sie nicht direkt aufeinander folgen. Wenn sie dies aber tun, dann sorgt irgendein Automatismus dafür, daß dieses Windows-Zeilenende in ein Unix-Zeilenende konvertiert wird. Und genau das ist meine Frage: Wie beeinflusse ich diesen Automatismus?

 

[SlaterB]

was liefert File.length()?

new File(..).length();

 

[mAkL]

new File(..).length();

Testcode:

File testFile = new File("test.txt");
System.out.println("file.length: " + testFile.length());

Windows:

file.length: 4

Linux:

file.length: 3

 

[SlaterB]

und was sagt das Dateisystem?
wird die Datei magisch kleiner, passt sie unter Linux auf eine CD, unter Windows aber nicht?
oder hast du doch zwei verschiedene Dateien, etwa weil sie unter jedem Betriebssystem erst neu erstellt werden,
dann ist der Schuld, der die Datei schreibt

 

[mAkL]

und was sagt das Dateisystem?
wird die Datei magisch kleiner, passt sie unter Linux auf eine CD, unter Windows aber nicht?
oder hast du doch zwei verschiedene Dateien, etwa weil sie unter jedem Betriebssystem erst neu erstellt werden,
dann ist der Schuld, der die Datei schreibt

:toll: Treffer. Schuld ist der, der ein Programm benutzt und dessen Einstellungsmöglichkeiten nicht gut genug kennt - also ich. Habe für den Transport von Windows nach Linux WinSCP benutzt. Wenn ich hier die Datei binär übertrage, läuft alles wie gewünscht. Wäre im Leben nicht darauf gekommen, daß dieses Programm bei der Übertragung die Zeilenendezeichen konvertiert. Dankeschön allen für die Hilfe :applaus: