Klonen und Kopieren von Dateien

[klein-odd]

Hallo !
Ich brauche in einem Java Programm Dateien zu kopieren.

Angenommen heisst die Ausgangsdatei "source.txt"
und die Kopie "destination.txt".

Das Patent vom Java Tutorial von SUN mit der Kopplung
eines FileWriters an einen FileReader

arbeitet ungefähr so :

File source = new File("source.txt");
File destination = new File("destination.txt");

FileReader fread = new FileReader(source);
FileWriter fwrit = new FileWriter(destination);

int c;
while((c = fread.read())!=-1)
{
	fwrit.write(c);
}
fread.close();
fwrit.close();´

Dies ist gut für Character-Files, wie .txt, .html und ähnliche.

Schon Bilddateien, wie .gif, geschweige .pdf, lassen sich nicht so kopieren.
Es gibt schwer zu beschreibende Nebeneffekte, ausser einem,
dass .pdf Blätter nach dem Kopieren jungfernsauber aussehen.

Ich wollte die Effizienz des Kopierens von Windows oder sonst Systeme erreichen.

Kann jemand einen Lösungsweg vorschlagen oder auf fertige Lösung hinweis geben ?

Ich bin dankbar schon fürs Lesen

 

[Schandro]

ich denke mal das sollte funktionieren, wenn man einfach nur mit FileInput bzw. OutputStreams arbeitet.
€dit:

import java.io.*;

class A{

    public static void main(String[] args){
        try{
            FileInputStream in = new FileInputStream(new File("C://datei.gif"));
            FileOutputStream out = new FileOutputStream(new File("C://datei COPY.gif"));

            int next = 0;
            while((next = in.read()) != -1){
                out.write(next);
            }

            in.close();
            out.close();

        }catch(Exception e){e.printStackTrace();}
    }
}

Jep, funktioniert

 

[maki]

Neben dem was Schandro geschrieben hat, kann auch das lesen der API Doku helfen

FileReader (Java 2 Platform SE 5.0)

Convenience class for reading character files...

FileWriter (Java 2 Platform SE 5.0)

Convenience class for writing character files.

Kannst ja mal die NIO API probieren, hier ein Beispiel: Copy a file using NIO : New IOFile Input OutputJava

 

[Stephan.Woebbeking]

Wow, der Ursprung ist ja schon etwas älter... aber weil ihr hier grad geantwortet habt, häng ich mich mal mit rein, passt nämlich super zu der Frage, die ich habe:

Die Technik beim kopieren/verschieben ist klar, da hab ich keine Sorgen. Aber wenn ich mir die Performance anschaue ist's schon etwas grausig. Ich komme auf ca. 30-50% der Durchsatzraten von anderen Programmen, die eine Dateikopie anfertigen, bspw. der Windows eigene Explorer. Natürlich kopiere ich nicht jedes Zeichen/Byte einzeln, da müsste m.E. viel zu viel Overhead erzeugen, ich arbeite bei grösseren Dateien mit Blöcken von 500.000 Byte (MAX_BUF). Da sollte der zusätzliche Overhead aus der Schleife nicht mehr sooooo signifikant sein:

	public static long copyFile( File source, File destin, boolean append, StateDisplay display ) throws FileNotFoundException, IOException {
		FileInputStream reader;
		FileOutputStream writer;
		byte[] buf;
		int len;
		long res = 0;
		
		if ( source.isDirectory() || destin.isDirectory() )
			return -1;
		display.setDetailProgressInfoWithTextProgress( source.length(), 0, source.getName() );
		len = (int) Math.min( source.length() + 1, MAX_BUF );
		buf = new byte[ len ];
		reader = new FileInputStream( source );
		writer = new FileOutputStream( destin, append );
		len = reader.read( buf );
		while ( len > -1 ) {
			writer.write( buf, 0, len );
			display.addDiskTransfer( len );
			res += len;
			len = reader.read( buf );
			display.setDetailProgressInfoWithTextProgress( -1, res, source.getName() );
		}
		display.setDetailProgressInfo( res );
		reader.close();
		writer.close();
		
		return res;
	}

Irgendjemand eine Idee, wie ich an die Schreib/Lesegeschwindigkeiten vom System herankommen kann? Oder sollte man in dem Fall evt. Low-Level Funktionen nutzen? Da habe ich aber vermutlich keine Fortschrittskontrolle, oder?

Danke schonmal!
Stephan

 

[maki]

Wow, der Ursprung ist ja schon etwas älter...

Hä?

Wie gesagt, kannst ja mal die NIO probieren.
Aber warum selber machen? Gibt doch die Commons IO Fileutils: Commons IO - Home

 

[Stephan.Woebbeking]

Ok, hab da mal einen kleinen Test gefahren:

2009-04-16 09:13:37,598 ###### Test ###### Performance test for standard internal method
2009-04-16 09:13:45,567 Time before start: 16.04.2009 09:13 (Donnerstag)
2009-04-16 09:13:45,567 Time after copy:   16.04.2009 09:13 (Donnerstag)
2009-04-16 09:13:45,567 Bytes copied: 100.000.000 duration: 7 throughput: 14285714
2009-04-16 09:13:45,567 ###### Test ###### Performance test for new java IO methods
2009-04-16 09:13:49,614 Time before start: 16.04.2009 09:13 (Donnerstag)
2009-04-16 09:13:49,614 Time after copy:   16.04.2009 09:13 (Donnerstag)
2009-04-16 09:13:49,614 Bytes copied: 100.000.000 duration: 4 throughput: 25000000

2009-04-16 09:17:07,895 < finished test of initialized base dir for JUnit test runs.
2009-04-16 09:17:07,895 ###### Test ###### Performance test for standard internal method
2009-04-16 09:18:34,239 Time before start: 09:17:07
2009-04-16 09:18:34,239 Time after copy:   09:18:34
2009-04-16 09:18:34,239 Bytes copied: 1.000.000.000 duration: 86 throughput: 11627906
2009-04-16 09:18:34,255 ###### Test ###### Performance test for new java IO methods
2009-04-16 09:20:34,317 Time before start: 09:18:34
2009-04-16 09:20:34,411 Time after copy:   09:20:34
2009-04-16 09:20:34,426 Bytes copied: 1.000.000.000 duration: 119 throughput: 8403361

Ausserdem hab ich in der Doku folgendes gelesen:
For most operating systems, mapping a file into memory is more expensive than reading or writing a few tens of kilobytes of data via the usual read and write methods. From the standpoint of performance it is generally only worth mapping relatively large files into memory.

Nun geht es mir ja - gerade bei großen Files - speziell um eine bessere Performance. Hiernach stelle ich vorerst fest, dass nio keinen Gewinn bringt.

Dazu kommt, dass ich bei den "standard" Methoden den Puffer mehrfach verwenden kann, ich denke das ist bei großen Datenmengen der Grund, warum die Performance von NIO hinkt? Kann ich aber nur raten. D.h. aber auch, dass ich die Datei nur in einem großen Brocken kopieren kann, d.h. ich habe keine Fortschrittskontrolle. Zumindest hab ich da noch (jetzt auf die Schnelle) keine Möglichkeit gefunden, ist das korrekt?

Kleine Ergänzung: Jetzt hab ich noch eine dritte Routine getestet, die arbeitet mit BufferedInput(Output)Stream. Letztlich alles gleich am Ende, mal ein paar Millisekunden, aber die größte Abweichung kommt noch durch Rundungen... Größe Testfile war jetzt 100M, denke das sollte für den Durchsatztest reichen, aber auch bei 1G ist es für die NIO eher ungünstig.

Noch jemand irgendwelche Ideen?

Stephan

 

[Stephan.Woebbeking]

2009-04-16 10:10:04,661 ###### Test ###### Performance test for standard internal method
2009-04-16 10:10:08,989 Time before start: 10:10:04
2009-04-16 10:10:09,036 Time after copy:   10:10:08
2009-04-16 10:10:09,067 Bytes copied: 100000000 duration: 4 throughput: 25000000
2009-04-16 10:10:09,114 ###### Test ###### Performance test for new java IO methods
2009-04-16 10:10:13,864 Time before start: 10:10:09
2009-04-16 10:10:13,926 Time after copy:   10:10:13
2009-04-16 10:10:13,989 Bytes copied: 100000000 duration: 4 throughput: 25000000
2009-04-16 10:10:14,067 ###### Test ###### Performance test for buffered stream methods
2009-04-16 10:10:18,848 Time before start: 10:10:14
2009-04-16 10:10:18,911 Time after copy:   10:10:18
2009-04-16 10:10:18,958 Bytes copied: 100000000 duration: 4 throughput: 25000000
2009-04-16 10:10:19,036 ###### Test ###### Delete the files from performance tests
2009-04-16 10:10:19,098 Deleting 3 files now!