CSV-Datei (korrupt?) auswerten

[Raziell]

Hallo zusammen,

ich möchte mal ein kleines Programm schreiben, welches exportierte CSV-Dateien vom Online-Banking
erfasst und auswertet. Dabei ist mir ein etwas seltsamer Aufbau der CSV aufgefallen.

Die Datei ist in etwa so aufgebaut:

"20.10.2010";"20.10.2010";"0000000";"text1";"text2";"text3";"text4";"EUR";"30,00";"S"
"20.10.2010";"20.10.2010";"0000000";"text1";"text2";"text3";"text4";"EUR";"30,00";"S"
"20.10.2010";"20.10.2010";"0000000";"text1";"text2";"text3";"text4";"EUR";"30,00";"S"

Das seltsame daran finde ich jetzt, dass nicht jeder Datensatz in einer Zeile ist, sondern dass bei längeren Texten dann ein Zeilenumbruch gemacht wird. Also manchmal erstreckt sich ein Datensatz über 2 und manchmal über 3 Zeilen.

Ist der Aufbau der Datei korrekt oder ist die Datei korrupt?

Gruß

 

[SlaterB]

wieso postest du kein Beispiel dieser mehreren Zeilen, wenn das das Problem zu sein schein?

eine allgemeine Definition von 'korrupte CSV-Datei' gibt es wohl nicht,
entweder du selber siehst das als ok an oder nicht,
wenn dein Java-Programm damit umgehen kann ist es wohl nicht so kritisch

kannst noch testen was die allgemeinen Excel-Importe dazu sagen, wenn die versagen, dann ist es wiederum nicht so gut,
aber Excel hat auch kein Patent darauf..

CSV (Dateiformat) ? Wikipedia

Das Dateiformat CSV beschreibt den Aufbau einer Textdatei zur Speicherung oder zum Austausch einfach strukturierter Daten. Die Dateiendung .csv ist eine Abkürzung für Comma-Separated Values (selten Character Separated Values[1][2][3]). Ein allgemeiner Standard für das Dateiformat CSV existiert nicht.

 

[Raziell]

Hallo,

im Anhang ein kleines Beispiel vom Aufbau der Datei.

Ich müsste in meinem Fall also zwangsweise davon ausgehen, dass nach einer bestimmten Anzahl von Trennzeichen der nächste Datensatz beginnt?

Oder ich könnte auch davon ausgehen, dass nach jedem ;"S" bzw. ;"H" ein neuer Datansatz beginnt.

Vllt. habt ihr ja einen besseren Vorschlag...

Danke

Gruß

EDIT:

Der Import in Excel bzw. OpenOffice klappt reibungslos.

 

[SlaterB]

die Zeilenumbrüche sind hier innerhalb von Anführungszeichen, dass kann man verarbeiten, das kann sogar Excel richtig erkennen,

komisch sind die wirklich kompletten Leerzeilen nach jedem "S",
das kann dir als extremer Hinweis auf den nächsten Datensatz helfen oder einfach ignorien

 

[maki]

Würde nicht Kommas oder Semikolons als Trennzeichen einsetzen sondern Tabs oder etwas anderes das garantiert nicht in den texten vorkommen kann.

 

[XHelp]

Sieht doch in Ordnung aus.
Parst du die Datei selbe? Es gibt ja schon fertige CSV-Parser.
Du kannst davon ausgehen, dass ein Datensatz 1 Zeile ist. Die Werte, die in Anführungszeichen gesetzt sind (vor allem die Mehrzeiligen), stellen 1 Eintrag dar.

 

[Raziell]

Ja ich finde den Aufbau auch eher bescheiden, aber ich bekomme die Datei leider so ausgeliefert.

Das Problem ist ja, dass ich keine klare Trennung zwischen den einzelnen Datensätzen habe, da ein Datensatz über mehrere Zeilen gehen kann.
Und die Standard CSV-Parser wie opencsv gehen ja davon aus, dass ein Datensatz in einer Zeile steht, wenn ich das richtig verstanden habe.

Gruß

 

[XHelp]

Ja, aber jeder ansatzweise sinnvoller Parser kann mit escap'ten (hmm... ob da ein deutsches Wort dazu gibt?) Werten umgehen. Denn die Anführungszeichen sind ja dafür da. Deine Datensätze stehen ja auch, sogesehen, in einer Zeile. Nur eben ein Eintrag (der für sich aber nur als eine Einheit gewertet wird) geht über mehrere Zeilen.

 

[Raziell]

Achso ich dachte der Parser kommt damit nicht klar aber es funktioniert, der Parser spuckt bei folgendem Beispielcode:

    try {
      final CSVReader reader = new CSVReader(new FileReader("Beispiel.csv"), ';', '"');

      String[] nextLine;
      try {
        while ((nextLine = reader.readNext()) != null) {
          for (final String element : nextLine) {
            System.out.println(element);
          }
        }
      } catch (final IOException e) {
        e.printStackTrace();
      }
    } catch (final FileNotFoundException e) {
      e.printStackTrace();
    }

das aus:

20.10.2010
20.10.2010
5660056
ARAL aaaaaaaaaaaaaaaaaaaaaa
1234567
1234567
Lastschrift
00000000000000000000000000
OLV71028517 18.10 07.48 ME2
EUR
30,00
S

12.10.2010
12.10.2010
F000000000000 0000000000
AGIP, ASDFFG, ASFDFASASFSCH
1234567
1234567
Lastschrift
EC 0000000 0000000000000E0
EUR
30,00
S

04.10.2010
04.10.2010
008056 1112 0102
GA NR000000000 BLZ000000000 2
1234567
1234567
Lastschrift
02.10/19.20UHR ASDF-AUTO
EUR 50,00
EUR
50,00
S

Hätte es vllt. erstmal probieren sollen

Danke und Gruß

 

[Raziell]

Hallo nochmal,

mir ist gerade aufgefallen, dass opencsv die Datei doch falsch parst.

In dem Fall nämlich:

04.10.2010
04.10.2010
008056 1112 0102
GA NR000000000 BLZ000000000 2
1234567
1234567
Lastschrift
02.10/19.20UHR ASDF-AUTO
EUR 50,00
EUR
50,00
S

sind für Ihn: EUR 50,00 und EUR ein eigener Datensatz obwohl die beiden Werte zur vorherigen
Zeile gehören und im gleichen Quote stehen.

Ich habe jetzt schon eine weile rumprobiert aber iwie klappts nichts richtig ???:L

Kann mir da evtl. jmd. weiterhelfen?

EDIT:

Ok also habs jetzt nochmal zusätzlich mit dem CSVParser probiert und dabei den \n als escape
Zeichen angegeben. Scheint jetzt zu funktionieren...