Mehrere Threads schreiben in eine Datei

[isowiz]

Ich habe mehrere Threads, die alle in die selbe Datei (csv) schreiben. Wie kann ich diesen Dateizugriff am besten programmieren?

Wäre es eine gute Lösung, einen eigenen Thread zu machen der als einziger in die Datei schreibt (wobei ich nicht weiß, wie ich Informationen zwischen den Threads austauschen kann)?
Oder ist es besser, eine statische synchronisierte Methode zu nehmen?
Oder sollte man das Problem ganz anders angehen?

Da ich bzgl. Threads noch am Anfang stehe bin ich über jeden Tipp froh .

 

[gman]

Hi,

sollen die Threads denn über einen längeren Zeitraum beständig/wiederholt in die Datei reinschreiben,
oder "berechnen" die irgendwas und schreiben dann ihre Ergebnisse in die Datei?

In ersterem Fall würde ich das vielleicht wie so eine "Producer-Consumer"-Geschichte aufziehen, wobei
die Threads die Producer sind und ein weiterer Thread als Consumer die Ergebnisse der Threads in die
Datei schreibt. Für diesen Ansatz brauchst du halt einen Speicher in den die Producer reinschreiben
und aus dem der Consumer´lesen kann. Der Zugriff auf diesen Speicher (sowas wie List<String> bei
der jedes Element eine Zeile der CSV-Datei werden soll) müsste dann synchronisiert werden. Ich
glaube da bietet sich vielleicht die ArrayBlockingQueue an. Wenn keiner der Producer-Threads was
in den Speicher geschrieben hat, müsste der Lesezugriff natürlich blockieren.

Im zweiten Fall kannste ja einfach die Ergebnisse der Threads synchronisiert in eine gemeinsame
List<String> packen und danach komplett in die Datei schreiben.

Hoffe das hilft dir ein wenig weiter

 

[homer65]

Man könnte statt einer Datei eine Datenbank nehmen.

 

[Wortraum]

Wäre es eine gute Lösung, einen eigenen Thread zu machen der als einziger in die Datei schreibt (wobei ich nicht weiß, wie ich Informationen zwischen den Threads austauschen kann)?

Ich finde das schön klar. Nur dieser eine Thread öffnet die Datei, nur dieser eine schreibt, nur dieser eine schließt.

Wie gman schon schrieb, ist das ein klassisches Erzeuger‐Verbraucher‐Problem. Dazu findest Du viele Informationen über Google, einiges davon vermutlich recht theoretischer Natur, aber so grundlegend mußt Du in Java nicht herangehen; hier kannst Du die Klasse LinkedBlockingQueue verwenden.

Mit LinkedBlockingQueue können beliebig viele Threads Daten an die Warteschlange anfügen und beliebig viele diese Daten entnehmen. Wie der Name schon sagt, blockiert ein Thread, der der Warteschlange etwas entnehmen möchte, falls keine neuen Daten da sind. Sobald welche da sind, entnimmt er sie automatisch und macht weiter. Du mußt Dich also weder darum kümmern, daß die Threads synchronisiert werden, noch darum, daß Threads aufgeweckt werden, sobald neue Daten verfügbar sind.

Edit: Oh, ich habe ganz übersehen, daß gman bereits die ArrayBlockingQueue erwähnte. Die kann man natürlich auch verwenden.

 

[isowiz]

Vielen Dank für Eure Antworten. Das hilft mir sehr. Jetzt weiß ich, in welche Richtung ich suchen muss .

Zur Info wie ich mir das vorstelle:
- Quell-csv Datei (100.000 Einträge)
- Ziel-csv Datei (100.000 berechnete Ergebnisse)

1. Ein Eintrag wird aus Quelle entnommen
2. neuer Thread führt Berechnung durch
3. Ergebnis in Zieldatei schreiben
4. Thread beendet

Und das ganze eben parallel. Und wenn ein Eintrag an Stelle n entnommen wird muss das Ergebnis in der Zieldatei auch wieder an Stelle n geschrieben werden.

 

[gman]

wenn ein Eintrag an Stelle n entnommen wird muss das Ergebnis in der Zieldatei auch wieder an Stelle n geschrieben werden

Hm, ist natürlich doof wenn ein Thread etwas länger braucht und dann die anderen Threads
darauf warten müssen, weil sonst die Reihenfolge der Ergebnisse durcheinander kommt.
Sieht wohl so aus als müsstest du die Ergebnisse der Threads zwischenspeichern und dann
sicherstellen das sie in der richtigen Reihenfolge geschrieben werden. Dafür müsstest du
natürlich auch die Information speichern welcher Zeile ein Datensatz entspricht.