Datei mit Sonderzeichen

[heidiweber]

Hallo,

ich übertrage per FTP von einem "Großrechner" (müsste AS400 sein) Dateien (die mit Cobol bzw. PL1 erstellt wurden) auf einen Linux-Server mit RedHat als Betriebssystem.

Wenn ich diese Dateien vom Großrechner auf meinem WIndows-PC kopieren, dan kann es vorkommen, dass in diesen Dateien z.B. HEX00 vorkommt, was z.B. bei der Verarbeitung mit VisualBasic oder auch C zu Problemen führen kann, da der dann diesen Datensatz evtl. "kürzer" einliesst, da er dieses Zeichen nicht richtig erkennt.

Mit Java probiere ich das jetzt so:

private BufferedReader br = null;
private long dsLaengeAktDs = 0;
br = new BufferedReader(new InputStreamReader(new FileInputStream("c:\\eingabe.txt"), "ISO-8859-1"));

while ((sReadDs = br.readLine())){
   dsLaengeAktDs = sReadDs.length();
}

Wie kann ich 1000% sicher sein, dass ich immer den ganzen Datensatz einlese, egal welche Zeichen im Datensatz vorkommen?

Vielen Dank
Liebe Grüße
Heidi

 

[Wildcard]

Wenn das Encoding passt verstehe ich dein Problem nicht.
Wenn es binäre Daten sind, nimmt keinen Reader.

 

[Guest]

Moin,

kannst du mir vielleicht ein Beispiel geben, wie das binäre einlesen geht?

Ich möchte auf jedenfall (falls möglich) zeilenweise einlesen und den eingelesenen Datensatz als String haben, so dass ich den eingelesenen Datensatz sehr leicht weiter verarbeiten kann.

Vielen Dank
Liebe Grüße
Heidi

 

[Wildcard]

Wenn es sich um binäre Daten handelt (was du noch nicht beantwortet hast), dann gibt es keine Zeilen.

 

[Roar]

so wie ich es verstanden haben ist es text, in dem mal das zeichen 0x00 vorkommen kann und heidi hat angst, dass readLine() bei der 0 aufhört zu lesen, aber da können wir heidi beruhigen, da readLine() erst aufhört, wenn er einen \n oder \r findet

 

[heidiweber]

Hallo Wildcard,

was heisst "binäre Datei"? Es ist eine Datei mit Datensätzen, z.B. Vorname, Nachname, PLZ... und sonstige Daten. Wenn man die Datei öffnet (z.B. mit UltraEdit) kann man die Namen... ganz normal lesen. In jedem Datensatz gibt es aber "Reserve-Felder", in denen evtl. "Müll" (z.B. HEX00) stehen kann, da diese Reserve-Felder für die Auswertung der Datensätze nicht benötigt werden.

Ich habe bis jetzt noch nicht binär eingelesen. Muss man da die Anzahl der Bytes, die eingelesen werden sollen, vorher angeben? Kann ich das auch wieder in einen Buffer einlesen (wegen Geschwindigkeit...)?

Víelen Dank
Liebe Grüße
Heidi

 

[Freddy01010]

Hallo,

Wenn die Daten in der Datei durch Zeilentrennzeichen ("\n" oder "\r") aufgeteilt sind, kann man auf jeden Fall einen Reader verwenden. Ich würde hier den BufferedRedader vorschlagen.

In jedem Datensatz gibt es aber "Reserve-Felder", in denen evtl. "Müll" (z.B. HEX00) stehen kann, da diese Reserve-Felder für die Auswertung der Datensätze nicht benötigt werden.

Wenn diese Informationen("HEX00") nicht verwendet werden, ist es egal wie der Reader diesen Müll interprätiert.

Wenn diese Daten ausgewertet werden sollen, hängt es von der Art der Speicherung (z.B. UTF-8) ab, wie sie weiterverwendet werden.

MfG Freddy :wink:

 

[heidiweber]

Hallo Freddy,

mein Problem ist folgendes:
Ich habe eine Eingabedatei mit ca. 30 Millionen Datensätzen. Diese Datei ist variable lang.
Doch ist jeder Datensatz ein vielfaches von 1100 Bytes (Stellen).
Beispielsweise ist der erste Datensatz 6600 Stellen. Dann lese ich diesen und schreibe 6 Datensätze a 1100 Stellen in die Ausgabedatei.
Der zweite Datensatz hat 4400 Stellen --> dann schreibe ich den 4 mal in die Ausgabedatei... usw.
Jetzt gibt es aber in der Ausgabedatei, die eigentlich jetzt fixe Länge von 1100 Stellen haben sollte, genau 18 Datensätze, die 1101 Stellen haben. Also eine mehr? Wenn ich das unter Windows laufen lasse, so wie weiter aufgezeigt, passt alles. Läuft das ganze unter Linux (Red Hat), dann habe ich das Problem
Ich starte vom Größrechner einen FTP-Job, den ich als Parameter den Zeichensatz ISO8859-1 mitgebe. Somit sollte die Datei in diesem Format auf Linux vorliegen.


Das Trennzeichen der Datei ist: HEX 0D 0A

Meine Vermutung ist folgendes:

In der Eingabedatei ist folgendes Zeichen: HEX 9F

Daraus macht der dann: HEX C2 9F

Wenn ich die Datei so verarbeite:

private BufferedReader br = null;
private long dsLaengeAktDs = 0;
br = new BufferedReader(new InputStreamReader(new FileInputStream("c:\\eingabe.txt"), "ISO-8859-1"));

while ((sReadDs = br.readLine())){
dsLaengeAktDs = sReadDs.length();
}

Wenn ich doch FileInputStream verwende, ließt der doch byteweise ein?
Was benutzt Linux für einen Zeichensatz? Oder habt ihr noch einen Tipp?


Vielen Dank für die Hilfe
Liebe Grüße
Heidi

 

[Wildcard]

Verwendest du einen einheitlichen Zeilenumbruch, oder einen Plattformabhängigen?

Was benutzt Linux für einen Zeichensatz?

Den, den man einstellt, ein Encoding ist kein Systemweite vorgabe, jedes Programm schreibt die Daten so wie es das möchte (ist unter Windows nicht anders).
Ich bin grundsätzlich für UTF-8.