große CSV-Dateien Importieren. Beste Lösung ?! AWS,S3,Hadoop!?

[stocki]

Hallo ....

Ich stehe vor einem Problem. Ich bekomme viele und echt große CSV Dateien und diese muss ich parsen und in eine Datenbank schreiben. Zurzeit wird das in PHP gelöst nur dauert der import so ca. 3 Tage für einen! Shop.

Also, da wir unsere Daten auf Amazon (AWS) -S3- speichern wollen wir das System von Amazon auch nutzen ---> Cloud Computing. EC2, bzw. Amazon Elastic MapReduce (Hadoop).

So, kennt sich jemand vlt damit aus ?

Oder was denkt ihr was die beste Lösung ist um dieses Problem zu lösen, wie verarbeitet man 300 mb files mit 300.000 einträgen am schnellsten und trägt diese in eine DB ein ... ?

 

[musiKk]

Mal ganz trivial gedacht: Hast Du mal was anderes als PHP probiert? 300MB klingt ja eher... naja... nicht so wirklich groß. PostgreSQL bietet z. B. per [c]copy[/c]-Befehl an, Daten zwischen Tabellen und Dateien zu konvertieren und hat CSV-Unterstützung. Hängt aber natürlich alles auch von der Umgebung ab. Sind die CSV-Dateien und die Datenbank im selben LAN? Werden die CSV-Dateien in Zukunft lokal in der Cloud in die Datenbank konvertiert? etc.

 

[FArt]

Wie musiKk: dieses bisschen Daten mit Clouds anzugehen, das sind die Kanonen und die Spatzen. Vermutlich geht es sogar mit PHP schneller, wenn man es richtig macht.

 

[stocki]

ja und wie macht man das mit php richtig, so das es keine Tage dauert?
Also wir bekommen ja mehr als nur eine datei von einem händler mit bis zu millionen von einträgen insgesamt. das dauert schon ewig mit einem normalen php skript.

also die die daten bekommen wir meist über einen link oder per cd wenn es zuviele sind. also werden die runtergeladen und auf unseren amazon s3 temporär gespeichert. dann sollen die natürlich validiert werden und in die db geschreiben und geloggt ...

 

[FArt]

ja und wie macht man das mit php richtig, so das es keine Tage dauert?

Dazu schaue ich am besten mal in meine Glaskugel....

Analysiere das jetzige Verhalten. Wo bleibt die Zeit? Dann optimiere das jetzige Verhalten.