Objekte speichern

[OnDemand]

Hallo zusammen,

ich muss eine csv Datei einlesen. Derzeit speicher ich diese Objekte aus der csv in einer List und übergebe sie einer Klasse, die entscheidet, wohin die Daten geschickt werden.
Das adden und wieder auslesen in der "Entscheiderklasse" innert einer for-Loop, dauert zu lange (sind gut 10.000-50.000 Objekte). Habt ihr eine schnellere Idee, wie ich Objekte zwischenspeichern kann und diese schnell wieder auslesen kann?

 

[Joose]

Laut deiner Erklärung liest du eine CSV Datei ein und die daraus resultierende Liste gibst du als Parameter wo mit. Dort wird die Liste dann wieder durchlaufen und je nach Objekt entschieden was damit gemacht wird. (nur damit ich es richtig verstanden habe )

Woher weißt du das genau die Schleife in der "Entscheiderklasse" so lange braucht? Kann es sein das du die Daten in der Schleife auch dort hinschickst wo sie sollen?
Wenn ja nehme ich an das Schicken (wohin werden sie geschickt? Übers Netzwerk? Müssen sie umgewandelt werden damit sie geschickt werden können?) dauert einfach lange und dadurch nimmst natürlich auch die Schleife.

Hast du schon mal an Multi Threading gedacht (Producer/Consumer)?
Ein Thread (Producer) liest Zeile für Zeile aus der CSV Datei aus und wandelt die Daten in ein Objekt um. Diese Objekt wird in eine Queue gelegt.
Ein 2.Thread (Consumer) wartet wird gestartet und wartet darauf das etwas in die Queue gelegt wird. Wenn das passiert nimmt sich der Thread das Objekt aus der Queue und verarbeitet es (schickt es eben dorthin wo du willst). Danach wird wieder auf das nächste Objekt gewartet usw. bis eben alles abgearbeitet ist.
Vorteil: Du kannst mehrere Consumer Threads starten, welche sich die Verarbeitung der Objekte teilen (sprich im besten Fall verarbeitet bei 2 Thread jeder die Hälfte).

Ähnliche Möglichkeit:
Ein Thread liest wieder die Datei ein (auch hier kann mehrere erstellen, welche die Datei lesen), statt einer Queue für alle Objekte entscheided schon vorher was das Ziel ist und fügt das Objekt in eine entsprechende Queue für Ziel X ein. Hinter jeder Queue läuft wieder ein oder mehrere Threads welche die Objekte an ihr Ziel schicken.
Vorteil: Die Aufgaben sind sauber getrennt, ein Thread liest die Datei ein, ein Thread entscheidet was für ein Objekt es ist und wohin es geschickt werden muss, ein Thread verschickt das Objekt

Nachteile gibt es natürlich bei beiden Varianten: Multi Threading kann komplex werden.
Etwas mehr Infos über die möglichen Objekte und deren Ziele könnte vielleicht helfen eine passende Lösung zu finden

 

[OnDemand]

Hi. Danke für die ideen. Also ich lese zb eine Datei von Audi ein die Autos werden in der list gespeichert. Diese list wird dann an eine klasse übergeben. Dort wird entschieden ob die Autos online angeboten werden und über welche Plattform. Wenn die Autos über Amazon angeboten werden, wird die List an den Amazon connector übergeben oder an Ebay etc. In den entsprechenden connectoren wird jedes Auto wieder heraus gecastet und in den Marktplatz gelesen.

Das casten dauert sehr lange finde ich.

 

[Joose]

Was meinst du mit "heraus casten"? Findest du nur es dauert lange oder hast du es auch kontrolliert (Profiler oder wenigstens mit Java mitteln messen - System.getCurrentTimeMillis())?

 

[OnDemand]

In der for schleife hole ich die Objekte wieder raus um sie zu verarbeiten

Obj ob =(Obj) list.get (i)
obj.pushToAmazon (obj)
Beim list.add geht das ratz fatz ca 100 Objekte pro Minute. In der for schleife sind es dann nur 15 pro Minute und alle Autos zu verarbeiten dauert fast ne Stunde.

 

[Joose]

Für was steht "Obj" für die Klasse "Object" oder eine spezifische "Auto" Klasse?
Du rufst vom Objekt "obj" die Methode "pushToAmazon" auf und übergibst als Parameter das Objekt "obj". Das macht irgendwie keinen Sinn

Ein Cast ist zwar nicht billig, aber auch nicht so teuer da er 15 Minuten rechtfertigen würden.
Ich gehe ganz stark davon aus das der Aufruf von "pushToAmazon" solange dauert. Wie schon oben gesagt, durch einen Profiler oder simples messen mit Java Mitteln genau kontrollieren wo die Zeit liegen bleibt. Erst danach sollte man versuchen zu optimieren.

 

[OnDemand]

Moin, Obj ist ein Objekt der Klasse Auto, quasi.

pushToAmazon(obj);

so ist es korrekt, die Methode gehört der Amazon-Klasse an. Ja du hast recht, liegt an der push-Methode der cast geht ratz-fatz. Hmm dann muss ich mal schauen wie ich das beschleunigen kann

 

[DrZoidberg]

Sendet dein Programm die Daten wirklich an Amazon oder tut es nur so? Im ersten Fall könnte natürlich die Kommunikation übers Internet der Flaschenhals sein. Im zweiten Fall stimmt da irgendwas nicht. 100 Objekte pro Minute ist extrem langsam. Ratz fatz wären 100 Millionen Objekte pro Sekunde.

 

[Joose]

Ist die Amazon-Klasse von dir geschrieben oder eine vorgegeben? Wie DrZoidberg schon sagt ... entweder ist die Kommunikation übers Internet einfach nicht flott genug. Ansonsten macht diese Methode noch etwas sehr aufwendiges.