Sicher ein File lesen

[reibi]

Hallo

So kann ich ja ein File anziehen und danach den Inhalt lesen:

File myFile = new File("/data/myfile.dat");

oder

File myFile = new File("C:\\data\\myfile.dat");

In meinem Fall handelt es sich ja um nen File welches von nem anderen Prozess geschrieben oder dort hinkopiert wird.
Wie kann ich aber sicher gehen, dass mein File von nem anderen Prozess schon fertiggeschrieben ist?

Danke und Gruss

 

[mfernau]

Schwer zu sagen. Ich weiss nicht ob man in Java File-Locking Zustände abfragen kann. Sollte Dein Java-Programm permanent laufen wäre inotify vll etwas für dich: JNotify
Wenn Du selbst den Prozess entwickelst der das File geschrieben hat, dann wäre es auch eine Möglichkeit das File erst nach myfile.dat.parts zu schreiben und im letzten Zug nach myfile.dat um zu benennen.

 

[reibi]

Danke für den Tipp mit JNotify ... schau mir das mal an.

aber:

Schwer zu sagen. Ich weiss nicht ob man in Java File-Locking Zustände abfragen kann.

Ja kann man . Ein File zu locken ist aber nur bei Windows möglich ... sowas gibts bei den UNIXen leider nicht.

gruss

 

[mfernau]

Stimmt. Dann wäre der sicherste Weg die Sache mit dem inotify. Das gibt es sowohl unter *NIX als auch unter Windoze.
Alternativ könntest Du halt noch einen kleinen Timer in Dein Programm bauen der die Größe der Datei vor und nach dem Timer vergleicht um festzustellen ob sich die Datei noch ändert. Das ist aber maga dirty. Was besseres fällt mir da nicht mehr ein.

 

[reibi]

Alternativ könntest Du halt noch einen kleinen Timer in Dein Programm bauen der die Größe der Datei vor und nach dem Timer vergleicht um festzustellen ob sich die Datei noch ändert

Hi ... ich weiss natürlich genau worauf DU hinaus willst. Klar ... bin ich auch schon drauf gekommen.

Nur verrat mir mal eins. Wie bekommst DU die aktuelle Größe des Files raus?

 

[mfernau]

Das sollte doch mit dem File-Objekt gehen -> [c]myFile.length[/c]

Returns the length of the file denoted by this abstract pathname. The return value is unspecified if this pathname denotes a directory

Returns:
The length, in bytes, of the file denoted by this abstract pathname, or 0L if the file does not exist. Some operating systems may return 0L for pathnames denoting system-dependent entities such as devices or pipes.

 

[reibi]

Hi

Das sollte doch mit dem File-Objekt gehen -> [c]myFile.length[/c]

Geht aber nicht!
//Nicht böse gemeint
So schlau war ich ja auch schon ;-)

Und zwar wenn ich mir von einem File(5GB) so die Grösse angeben lasse und das File wird aber erst grad dort hinkopiert, dann sagt mir length() gleich zu Beginn das File hat 5GB.

verstehste?

Gruss

 

[reibi]

length gibt mir zurück wie groß das File mal werden soll, nachdem es fertigkopiert ist.

 

[mfernau]

Ahja - Weil der Speicherplatz im Filesystem schon reserviert ist. Das scheint dann von Filesystem zu Filesystem unterschiedlich zu sein. Hab ich auch nicht dran gedacht. Dann fällt mir auch nichts besseres mehr ein

 

[reibi]

Danke trotzdem für Deine Mithilfe ;-)

 

[reibi]

JNotify ist übrigens plattformabhängig. Ich bräuchte aber etwas plattformunabhängiges.
Und:

Es sagt Dir wenn sich ein File geändert hat. Aber erst nach der Änderung. Ich bräuchte etwas schon während der Änderung

Gruss

 

[mfernau]

Noch eine Idee - müsstest Du aber probieren..
Und zwar ob sich das Datum der Datei verändert. Ähnlich wie mein Gedanke mit der Dateigröße, nur eben auf das Datum bezogen. Vielleicht wäre das noch ein Krückstock.

 

[reibi]

Hi

Das hab ich auch schon probiert...auf mit lastModified usw.
Verändert sich nicht.

 

[mfernau]

So'n Käse
Dann tuts mir leid. Fällt mir so ad hoc auch nichts besseres ein

 

[reibi]

Trotzdem Danke fürs MitGedankenMachen ;-)

 

[preachie]

Spannende Aufgabe... aber so eine wirklich brillante Lösung ist mir auch nicht eingefallen.

Auf Windows funktioniert es ganz toll, in regelmäßigen Abständen zu prüfen, ob man auf das File renameTo anwenden kann. Schlägt es fehl, ist entweder die Datei nicht vorhanden oder es liegt noch ein Lock drauf von dem Prozess der sie noch kopiert.

Wie zu erwarten funktioniert dies jedoch nicht unter Linux.
Dort funktioniert allerdings der vorhin schon vorgeschlagene Ansatz mit file.length() die Größe zu prüfen.

Evtl. schaut man mittels System.getProperty("os.name") nach auf was für einem OS die Applikation läuft und verwendet je nachdem die eine oder andere Methode.

Ja, ich weiß, so richtig toll ist die "Lösung" auch nicht...

 

[mfernau]

Schon interessant, dass es dafür keine vernünftigeren Lösungen gibt...

JNotify ist übrigens plattformabhängig. Ich bräuchte aber etwas plattformunabhängiges.

Wegen Plattformabhängigkeit würde ich mir eigentlich keine Gedanken machen. Je nachdem ob Du Unix oder Windows benutzt müsste entweder die beigelegte .so oder .dll als externe Lib benutzt werden. Du hast damit also theoretisch nichts am Hut.

Es sagt Dir wenn sich ein File geändert hat. Aber erst nach der Änderung. Ich bräuchte etwas schon während der Änderung

Wieso eigentlich während der Änderung? Ich dachte Du möchtest sicher stellen dass die Datei nicht noch belegt ist? So steht es zumindest im Topic-Opener

 

[reibi]

Schon interessant, dass es dafür keine vernünftigeren Lösungen gibt...

komisch nich ... wunder mich da auch.

Wegen Plattformabhängigkeit würde ich mir eigentlich keine Gedanken machen. Je nachdem ob Du Unix oder Windows benutzt müsste entweder die beigelegte .so oder .dll als externe Lib benutzt werden.

Hast recht ;-) ABER
1.) Es muss auf solarix, bsd, linux und windows laufen..und
2.) Es muss sichergestellt sein, dass es aufwärtkompatibel ist.
Die Plattformabhängigkeit geht zwar auf dem ersten Blick an mir vorbei, könnte(nicht unwarscheinlich) aber später zum Verhängnis werden.

Wieso eigentlich während der Änderung? Ich dachte Du möchtest sicher stellen dass die Datei nicht noch belegt ist? So steht es zumindest im Topic-Opener

Also ich will mit Files hantieren, welche von anderen Prozessen zwischenzeitlich geschrieben oder auf einen bestimmten share hinkopiert werden, von dem ich sie lese.
Ich muss sicherstellen, dass das File fertiggestellt ist, sonst gibt es Fehler auf die ich nicht reagieren kann.


Gruss ;-)

 

[Janus]

Ich gehe da ganz pragmatisch vor.
Windows: prüfe, ob sich die Datei umbenennen lässt (File#renameTo)
Mac/*nix: Größe mittels File#length() holen, kurz warten, Größe erneut holen und vergleichen. Evtl. zwischendurch noch ein FileDescriptor#sync()

 

[reibi]

Hi Janus

Mac/*nix: Größe mittels File#length() holen, kurz warten, Größe erneut holen und vergleichen.

Liess mal bitte oben ;-)

Das geht halt eben nicht, da length immer gleich bleibt.

Gruss

 

[preachie]

Das geht halt eben nicht, da length immer gleich bleibt.

Auf Windows ja, getesteterweise bei mir auf Linux (ext4 FS) nein, dort "wächst" die Datei während des Kopiervorgangs. Hab allerdings keine Ahnung, wie es auf anderen *nix FS aussieht...

 

[mfernau]

Er schrieb ja auch, dass dieses Verfahren nur auf *NIX/Mac zutrifft. Und dort sollte dich Datei auch wachsen. Nur unter Windows wird der Space vorab belegt (zumindest AFAIK)

 

[Andi_CH]

Mal von der abstrakten Seite her betrachtet:
Fakt ist, dass die Information ob das File fertig geschrieben ist oder nicht, nicht im Filesystem steht, also muss sie sonst irgendwie zur Verfügung gestellt werden.

Fakt ist aber auch, dass Java an und für sich keine solchen Mechanismen zuf Verfügung stellt, implemtieren muss man die selbst.

Der schreibende Task muss die Statusinformation (schreibend/nicht schreibend) zur Verfügung stellen.
(sei es über ein Interface oder in einem zweiten kleinen File)
Der Reader-Prozess holt sich diese Information .....

Die Synchronisation ist ein Problem für sich.

Wenn du nur einen der beiden Tasks programmierst, ist es kaum möglich eine saubere Lösung zu implementieren.

 

[reibi]

OK ... da fällt mir "Fallunterscheidung" als Begriff ein.

Werd das mal verfolgen ;-)

 

[reibi]

Hi Andi

...kaum möglich eine saubere Lösung zu implementieren.

Was bis zum Ende dieser Diskusion zu beweisen wäre. Werde Dich zum Schluss diesbezüglich nochmal zitieren.

Entweder Du hattest recht ... oder eben nicht ;-)

 

[Andi_CH]

OK ... da fällt mir "Fallunterscheidung" als Begriff ein.

Das ist jetzt aber schon ziemlich low level.
Logisch musst du unterschieden ob noch geschrieben wird oder nicht, aber du kannst nur unterscheiden was bekannt ist.

Denk eher mal darüber nach wie die Information ob das Buch fertig ist oder nicht von Schreiberling zur Leseratte kommt

 

[reibi]

Naja ... lieber wäre mir eine generelle Lösung ...ohne Fallunterscheidung(zum Betriebssystem) ... hab auch noch n 2ten Ansatz. Und zwar die überprüfung der Checksumme. Falls die nicht zieht ist mir einen Fallunterscheidung immer noch lieber als gar keine Lösung.

aber du kannst nur unterscheiden was bekannt ist.

Klar! Aber ich könnte einen Zustand mit einem Zustand vor 100ms vergleichen. Length eignet sich da nicht ... vielleicht aber ne checksumme.

aber du kannst nur unterscheiden was bekannt ist.

Denk eher mal darüber nach wie die Information ob das Buch fertig ist oder nicht von Schreiberling zur Leseratte kommt

Weiss auch da was Du meinst... zB könnte der Schweiberling ein "ichBinFertigFile" dazulegen. Klar ... nur kann ich den Prozess der mir ein File schreibt nicht beeinflussen; das kommt von nem proprietärem System, was ich nicht ändern kann

gruss

 

[mfernau]

[...]hab auch noch n 2ten Ansatz. Und zwar die überprüfung der Checksumme[...]

Die Kalkulation einer Checksumme für eine 5G Datei dauert aber schon ein wenig... Das fänd ich persönlich nicht wirklich befriedigend.

 

[reibi]

Naja ... als generelle Lösung ... haste auch recht damit.
Meine Files sind aber max ein paar megabyte groß

;-)