CSV Files richtig zusammenführen

[Dathor]

Hallo liebe Java Community,

da ich hier letztes Mal schnelle und kompetente Hilfe im Bereich Anfängerprogrammierung mit Java bekommen habe, dachte ich, dass ich mich ein weiteres Mal an euch wende.

Nun zu meinem Problem (Bitte entschuldigt, falls man meine Handschrift nicht lesen kann):

Ich habe 2 Mengen an Input Files:
Von den S-CSV-Files gibt es pro Tag jeweils eine.
Von den T-CSV-Files gibt es nur von manchen Tagen eine.

Wie ist ein File aufgebaut?
Jede "Line" innerhalb einer der CSV Files steht für 1 Paket (es geht wirklich um Pakete, die man mit dem Paketdienstleister deines Vertrauens verschicken könnte).

Die Lines in den S-CSV-Files enthalten Semikolon separiert Informationen wie ID des Paketes, Empfänger und diverse Zeitstempel.
Die Lines in den T-CSV-Files enthalten Semikolon separiert ebenfalls die ID des Paketes, aber auch Zusatzinformationen wie Barcodes, allerdings NUR, falls vorhanden. Nicht jedes Paket hat einen oder mehrere Barcodes. Wenn keine Barcodes vorhanden sind, FEHLT die Line einfach.
So kommt es, dass die Anzahl der Lines z.B. von S-CSV_1.10.15 und T-CSV_1.10.15 abweichen und man keine Zuordnung anhand der Linien-Nr. treffen kann (Line 5 aus S und Line 5 aus T gehören NICHT zusammen), sondern anhand der ID, welche in beiden Lines drin steht.

Problemstellung:
Zur Vorbreitung für eine statistische Auswertung ("Wieviele Pakete gab es an Tag dd.mm.yyyy mit Barcode XYZ drauf?") möchte ich die Daten aus den S-CSV-Files und T-CSV-Files gerne richtig zusammenführen. Da es vermutlich einige hunderttausend Pakete werden, macht es vielleicht Sinn pro Tag eine CSV File zu erstellen. Dies ist aber nicht zwingend erforderlich.

Innerhalb dieser Output-CSV-Files soll dann weiterhin pro Zeile ein Paket sein. Allerdings sollen die Barcodes (falls vorhanden) nun einfach Semikolon separiert an das dazugehörige Paket "gehängt" werden. Zur Zuordnung dient die ID.

Ich hoffe ich konnte mein Problem detailliert genug darstellen und es findet sich wer, der mir dabei helfen könnte, da dies meine Java Kenntnisse leider übersteigt.

Vielen Dank im Voraus und ein schönes Wochende!

David

 

[Dukel]

Ich würde die Daten in eine DB regelmäßig importieren.

 

[Dathor]

Ich würde die Daten in eine DB regelmäßig importieren.

Das Problem ist, dass gerade die T-CSV-Files viel zu viele Informationen enthalten (es gibt da teilweise bis zu 700 Semikolon separierte Einträge pro Zeile). Ich wollte diesen Schritt des Zusammenführens nutzen, um nur die wichtigen Infos (ca. 7 Einträge pro Zeile, um mal eine Größenordnung zu nennen) aus den jeweiligen S- und T-CSV Files herauszunehmen und damit dann weiter zu arbeiten.
Ich meine eine kleine CSV File pro Tag lässt sich mit Sicherheit auch leichter einpflegen in eine DB als dieses Chaos von Daten, das bisher vorliegt.

Von daher bin ich dankbar für den Tipp, hilft mir aber gerade nicht weiter.

 

[Joose]

Es ist auch möglich eine Datenbank per CSV zu laden und nur spezifische Spalten aus dem CSV zu verwenden
Bei MySql zum Beispiel so: http://stackoverflow.com/questions/...from-csv-file-to-mysql-using-load-data-infile

Ansonsten: Schreibe dir eine Klasse welche ein Paket mit allen von dir benötigten Informationen abbildet.
Lies zuerst das S File ein und wandle jede Zeile in ein Paket Objekt um (alle Objekte werden in einer Liste oder Map gespeichert). Danach liest du das T File ein und schaust in der Liste/Map nach ob es zu dieser ID schon ein Paket gibt, wenn ja setzt du die entsprechenden Informationen.

Am Ende hast du eine List/Map mit allen Paketen eines Tages. Diese könntest du dann entsprechend analysieren oder in ein CSV File rausschreiben