Mehre Dateien parallel kopieren mit Multithreading

[markus2510]

Hallo,

Fällt euch da irgendwas ein was man bezüglich Synchronisierung berücksichtigen muß oder brauch ich jede Kopieraktion einfach nur in separate Threads packen? Dass nicht mehrere Threads dieselbe Datei kopieren wollen schließ ich hier jetzt mal aus.

Lg, Markus

 

[Tarrew]

Wenn verschiedene Threads verschiedene Dateien kopieren, wird es nicht zu Deadlocks o.Ä. kommen, da musst du nichts beachten.

Du solltest aber beachten, dass das Ganze eher langsamer und nicht schneller wird.
File I/O zu parallelisieren macht eher wenig Sinn (wenn von der gleichen Platte gelesen / auf die gleiche Platte geschrieben wird).

 

[markus2510]

Hallo,

Ok, d.h. wenn die ziele der kopieraktionen auf einer anderen platte liegen könnte man das kopieren durch multithreading beschleunigen?

Lg, markus

 

[Tarrew]

Angenommen du hast 4 Platten A, B, C und D.

Dann kopierst du eine Datei von A auf B und eine weitere Datei von C auf D.
Das kannst du parallelisieren. Das wird auch schneller, als wenn es hintereinander läuft.

Wenn du aber nur zwei Platten A und B hast und vier Dateien von A auf B kopieren willst, dann solltest du das nicht parallelisieren. Das Lesen und Schreiben auf Platten ist ein serieller Vorgang und wenn sich der Kopf der Festplatte (im Falle einer HDD), immer neu ausrichten muss, weil zwischen den Dateien hin und hergesprungen wird, dann ist das ein massiver Overhead und es wird nur langsamer. Auch bei SSD's machts keinen Sinn.

 

[markus2510]

Ok, das klingt plausibel. Aber warum wird das dann bei robocopy so als superfeature hervorgehoben und die leute bemerken beim backup einen geschwindigkeitszuwachs? Sicher, muss alles nicht unbedingt stimmen, aber trotzdem interessanter sachverhalt.

 

[Tarrew]

Das Ganze kann natürlich schneller werden, wenn der File IO nicht dein Bottleneck ist sondern die CPU oder Ähnliches.
Das ist aber eher selten der Fall. Wenn ich ein bisschen google, dann finde ich leute, bei denen die Performance mit 8 Threads wenige % besser ist, aber auch viele Leute, wo die Geschwindigkeit abnimmt (nämlich genau dann, wenn die Platte eh schon der Bottleneck ist).

Dazu noch:

I think you will find a HUGE improvement when running robocopy in mirror mode, robocopy is checking each file serially to compare size/timestamps etc to work out *IF* it needs to copy the file over. During these checks there is little disk I/O.

Now running these types of checks in multithreaded mode will see huge speed increases to the overall job time, as its checking 8 (more if you increase the MT count) files at a time, rather than one.

While this won’t make the disk throughput any faster, it will allow one ‘thread’ to do a disk copy while the other 7 threads continue on checking for file changes. Resulting in a reduced job time for mirrored jobs not requiring a a huge data copy over the wire.

https://www.faqforge.com/windows/robocopy-single-and-multithreaded-benchmark-on-windows-7/

Auch lesenswert:
https://softwareengineering.stackexchange.com/questions/123029/multithreaded-file-copy

 

[JStein52]

Im übrigen wäre es ja eine dankbare Aufgabe wenn du das Ganze einfach mal ausprogrammierst und selber testest welche Theorie denn nun stimmt.

 

[Dukel]

Es kommt darauf an. Wenn man wenige große Dateien hat lohnt sich Paralellisierung nicht aber wenn man viele kleine Dateien kopieren möchte wird es sich sicher lohnen.
Ich würde dies mit den Entsprechenden Dateien und z.B. mit Robocopy verifizieren. Dort wird die Geschwindigkeit angegeben und man kann diese dann vergleichen. Dabei ist wichtig, dass man Caches nicht berücksichtigt und z.B. den Rechner zwischen den Versuchen neu startet.

 

[Flown]

wenn man viele kleine Dateien kopieren möchte wird es sich sicher lohnen.

Worauf fußt denn diese Behauptung? Denn:

Das Lesen und Schreiben auf Platten ist ein serieller Vorgang und wenn sich der Kopf der Festplatte (im Falle einer HDD), immer neu ausrichten muss, weil zwischen den Dateien hin und hergesprungen wird, dann ist das ein massiver Overhead und es wird nur langsamer. Auch bei SSD's machts keinen Sinn.