Input/Output Spätes Schreiben von Dateien der JVM

[arilou]

Problem:
Ein Java-Programm schreibt eine Datei mittels BufferedWriter, natürlich mit .flush() und .close(), und endet. Sofort danach soll ein anderes Programm die Datei als Input lesen.

Anscheinend schreibt die JVM die Datei nicht schnell genug, sodass das nachfolgende Programm ein "file not found" liefert, obwohl ein anschließender ls sie anzeigt ~ und der Aufruf von Hand dann funktioniert.

System:
Oracle JVM, Java 1.7.0_60, Java HotSpot(TM) 64-Bit Server VM (build 24.60-b09, mixed mode)
SUSE Linux Enterprise Server 11

Ich meine mich zu erinnern, dass die JVM bei .flush() nur sicherstellt, dass die JVM-internen Buffer auch komplett ans OS übergeben sind, aber nicht, dass die Datei dann auch tatsächlich auf der Platte/im Dateisystem geschrieben ist.

Gelegentlich hilft es, zwischenrein sync aufzurufen, aber nicht immer.

In der Zeitschrift c't war vor einiger Zeit ein Artikel, dass früher

copy datei1 datei2
touch datei2

sichergestellt hat, dass datei2 auch tatsächlich da ist, und dies mittlerweile nicht mehr funktioniert - man muss eine OS-Routine aufrufen für einen echten Dateisystem-Flush. Leider finde ich den c't-Artikel auch nicht mehr, und für Google fehlen die schlagkräftigen Stichworte...

Hat jemand eine Idee, wie ich dieses Problem gelöst bekomme?

CU, arilou

PS: Bei dem c't Artikel ging's entweder um den Linux-Kernel, oder (wahrscheinlicher) um ext4.

 

[turtle]

If your Java application really needs to ensure that data is physically written to disk, you may need to flush and sync, e.g.:

FileOutputStream out = new FileOutputStream(filename);

[...]

out.flush();
out.getFD().sync();

 

[arilou]

Thank you, I'll try this. :rtfm:
Seems I have to change my usual chain of objects:

final String filename = "abc.dat" ;
BufferedWriter bw ;
File file ;

// so far, I was using this way:
FileWriter fw ;
//
bw = new BufferedWriter( fw = new FileWriter( file = new File( filename ) ) ) ;
//
// bw.write(...);
//
bw.flush() ;
fw.flush() ;
// no .getFD() (or .sync()) method in bw, fw or file
bw.close() ;

// seems I have to use instead that chain of objects:
OutputStreamWriter osw ;
FileOutputStream fos ;
//
file = new File( filename ) ;
fos = new FileOutputStream( file ) ;
osw = new OutputStreamWriter( fos ) ;
bw = new BufferedWriter( osw ) ;
//
// bw.write(...);
//
// make sure that all modifications are transferred to the underlying buffers 
bw.flush() ;
osw.flush() ;
fos.flush() ;
// make sure that all content really is written to disk/file system
fos.getFD().sync() ;
// now we can close this output channel
bw.close() ;

 

[arilou]

According articles of magazine "C't" (german):
issue 08/2009, page 51: "Datenverlust unter Ext4"
issue 09/2009, page 57: "Kernel-Log: 2.6.30-Entwicklung, Diskussionen um Ext3 und -4"