Input/Output Probleme beim Parsen von CSV und TXT Dateien

[MadBlue]

Hi zusammen,

ich arbeite an einer Software die unter anderem Datenbestände aus CSV und TXT Dateien importieren soll.

Die TXT Dateien sind per Tabulator getrennt und die Werte stehen in "". Bei den CSV Dateien sind die Werte per Semicolon getrennt, Umfassende Zeichen gibt es nicht.

Zum Parsen verwende ich die Bibliothek opencsv 2.3.
Das Parsen der TXT Dateien funktioniert soweit auch ziemlich gut. Beim Parsen der CSV passieren jedoch immer wieder Fehler. Meist äußert sich das darin das irgendwo mittem im Datensatz ein Spalte übersprungen wird und die folgenden Werte nicht mehr in der richtigen Spalte stehen.

Dabei ist der verwendete Code sehr simpel und ähnlich dem, was ich in einem entsprechendem Beispiel gefunden habe.

CSVReader reader = new CSVReader(new FileReader(path + "/temp/ebay.csv"), ';');	
String[] array = new String[60];

			reader.readNext();
			reader.readNext();
			reader.readNext();
			while ((array = reader.readNext()) != null) {
			
		        int miCount = 0;
		        int miCount2 = 1;
		        
		        while (miCount < 37){
		        	System.out.println("Spalte " + miCount2 +": '"+ array[miCount] +"'");
		        	miCount2++;
		        	miCount++;
		        }

Die ersten drei Zeilen einer CSV Datei werden übersprungen, der rest wird in ein StringArrey geschrieben. Von dem aus arbeite ich dann hinterher weiter.

Mach ich da irgendetwas falsch?
Gibt es da vielleicht eine Bibliothek die besser funktioniert bzw. mit der ihr gute Erfahrungen gemacht habt?

Außerdem bin ich mir nicht ganz sicher welchen Zeichensatz die Dateien verwenden. Gibt's da eine einfache Möglichkeit das raus zu bekommen?

Jede Hilfe wäre echt klasse!

Sören

 

[HarleyDavidson]

Macht dein Programm da etwas falsch oder ist ein Fehler in der CSV (passiert gerne mal, z.B. das ein Semikolon fehlt oder so)?

Textbasierte Dateien einlesen geht auch ganz ohne zusätzliche Bibliotheken:

private void einlesen() throws FileNotFoundException, IOException
    {
        FileReader fr = new FileReader( "quelldatei.csv" );
        BufferedReader br = new BufferedReader( fr );
        //Spaltennamen sind nicht interessant
        br.readLine();
        String zeile = br.readLine();
        //CSV zeilenweise einlesen
        while ( zeile != null )
        {
            //Zeile splitten
            String[] infos = zeile.split( ";" );
            String info1= infos[0];
            String info2 = infos[1];
            String info3 = infos[2];
            //mach was mit den coolen Infos!
            //nächste Zeile einlesen
            zeile = br.readLine();
        }
        br.close();
        fr.close();
    }

Bei den mit Tabulator getrennten Werten nimmst du in Zeile 12

String[] infos = zeile.split( "\t" );

 

[Phash]

Ich nutze für sowas JSefa JSefa - JSefa
aber das ist Geschmackssache..
in JSefa erstelle ich eine "Zeilenklasse" mit Attributen - und sag dann, welches Attribut an welcher Stelle in der Datei kommt.
im Code kann ich dann einfach auf diese Zeilenklasse zugreifen, und hab sprechende Namen für die Inhalte



was mir auffällt:

kann es sein, dass es Zeilen gibt, die weniger als 37 Spalten haben?
Das müsste ja dann eine ArrayIndexOutOfBounds Exception geben...

(fängst du irgendwo diese Exceptions?)

 

[MadBlue]

Hi,

also weniger als 37 Spalten sind es nie, da der Datensatz um die 45 Spalten hat, mich aber nur die ersten 37 interessieren.

Das ganze steht in einem Try&Catch Block und zumindest da ist mir noch keine Exception aufgefallen. Sprich das läuft schon gescheit durch.

Ich werd mir JSefa mal ansehen.

@ HarleyDavidson:

Danke.
So hab ich das tatsächlich anfangs versucht. Bei den TXT Dateien gab es da aber seltsame Seiteneffekte, da die Tabulatoren nicht immer korrekt erkannt wurden. (also auch wesentlich häufiger als das ich jetzt die Probleme mit den CSV Daten habe)

Soweit ich das sehen kann sind die Datensätze schon korrekt. Beim importien nach MS Excel werden diese jedenfalls korrekt angezeigt!

Sören

 

[HarleyDavidson]

Hi,
also weniger als 37 Spalten sind es nie, da der Datensatz um die 45 Spalten hat, mich aber nur die ersten 37 interessieren.

Prüfe das nochmals korrekt. Wenn jetzt zum Beispiel nur ein Semikolon fehlt, dann verrutschen alle Werte und du bekommst dein Phänomen, dass ein Wert in der falschen Spalte steht.
Vielleicht kannst du die Datei vorher auf Korrektheit überprüfen (Anzahl Semikolon pro Zeile z.B.)?

 

[MadBlue]

Hi,

ich denke ich habe das Problem lokalisiert. Und zwar: IN den Textwerten der zu Importierenden Dateien stehen ab und zu die Sonderzeichen ' und "... damit kommt der CSV Pharser wohl nicht klar, da er damit die zu lesende Zeile beendet. Wenn man die Zeichen manuell raus nimmt, läuft er durch.

Gibt's ne einfache Möglichkeit die Zeichen beim Lesen der Datei zu entfernen ohne das andere komische Dinge passieren? Oder gibt's vielleicht eine Möglichkeit die Parameter des CSV so zu Ändern das er die " und ' komplett ignoriert?

Sören

 

[HarleyDavidson]

Versuch es mit

s = s.replace( "\"", "");

Damit werden Anführungszeichen entfernt.

 

[MadBlue]

Hi,

das ist schon klar... aber der Error passiert ja schon beim Parsen wo ich noch gar keinen EInfluss darauf nehmen kann.

Die Lösung war aber recht einfach: opencsv / Support Requests / #5 Add support of no escape character usage

Sören