Bytes in Datei schreiben

[Maecky]

Hi Leute,
nachdem ich jetzt laenger gegoogelt habe und irgendwie nicht auf die Loesung des Problems komme, wende ich mich an euch.

Ich moechte Bytes in eine Datei schreiben, was an sich ja kein Problem ist. Ich habe dies jetzt mal mit einem FileOutputStream und BufferedOutputStream geloest. Allerdings moechte ich, nachdem ich die ganzen Bytes geschrieben habe (ich weiss zu Beginn noch nicht, wieviel das sind), die Groesser in den Header der Datei schreiben, zB.: Position 4, 4 Byte lang. Das kann BufferedOutputStream leider nicht.

mFileOutputStream = new FileOutputStream(mFile);
mBufferedOutputStream = new BufferedOutputStream( mFileOutputStream );

Dann habe ich mir den BufferedWriter angesehen, der koennte zwar mit .append( CharSequence sq, int start, int end ), irgendwo in ein File schreiben, allerdings kann ich damit keine Bytes schreiben .

Gibt es da eine Moeglichkeit, dies moeglichst elegant zu loesen? Achja, ich moechte, wenn moeglich schon eine Buffered Schreib Methode verwenden.

Danke fuer eure Hilfe im Voraus,

gruesse, Maecky

 

[SlaterB]

append( CharSequence sq, int start, int end ) schreibt einen Teil der CharSequence sq, die weiteren Parameter schränken das ein, bestimmen nicht die Position im Stream,
die Methode gibts in BufferedOutputStream quasi auch, write(byte[] b, int off, int len)


Streams sind keine Zauberei, einmal weggeschickt kann man auf keine Weise später Daten davormischen,
grundsätzlich hast du zwei Strategien zur Auswahl:
- erst alle Daten im Programm sammeln, dann den Anfang modifizieren, und alles wegschicken, gestreamt wird da kaum noch,
wenn es insgesamt 1 GB sind, dann musst du auch genau soviel Arbeitsspeicher haben
- die Datei wie bisher gestreamt befüllen, am Ende nochmal komplett einlesen und kopieren, dabei am Anfang etwas hinzufügen/ ändern,
das passt in die Stream-Verarbeitung, da braucht man für beliebig große Dateien nur konstant minimal Speicher, allein die Verarbeitungszeit wird deutlich erhöht

edit:
ach ne, 3,
mit RandomAccessFile ist es wohl ohne Kopie möglich, einen Teil der Datei zu ändern

 

[Maecky]

Danke fuer die rasche Antwort.
Das heisst, ich habe nun zwei Moeglichkeiten, die halbwegs sinnvoll erscheinen:

1. Die Dateien gestreamt schreiben, danach den Stream schliessen und das File mit RandomAccessFile nochmals oeffnen um dann den Header zu modifizieren.

2. Gleich die gesamte Datei mit RandomAccessFile zu erstellen.

Die Frage ist nun welche Operationen mehr Kosten, zwei Objekte zu erstellen zum Schreiben, oder das ganze gleich nur mit RandomAccessFile zu schreiben und dafuer auf die gepufferte Ausgabe zu verzichten, was nachher die Anwendung wahrscheinlich langsamer macht, da dann jedes Byte sofort ins File gschrieben wird...?

 

[SlaterB]

kommt drauf an, was du konkret machen willst,
ich habe RandomAccessFile noch nie benutzt, aber bytes einzeln zu schreiben ist ja selbst aus Java-Sicht zu kompliziert zu coden,
statt writeByte(int v) wirst du dort doch sicher auch write(byte b[]) verwenden, was gewiss dann nicht alle Bytes einzeln schreibt,

wenn du 1000x je 100 Bytes schreibst kann man aber annehmen, dass das langsamer ist als ein BufferedWriter mit standardmäßig 8192 Bytes Cache, der nur 13x schreiben musst,
wenn du 100x je 1000 Bytes schreibst, dann ist der Unterschied schon nicht mehr ganz so groß,

und es steht dir natürlich frei, deine zu schreibenen Bytes manuell in einem größeren byte[] zu sammeln,
ist bisschen Aufwand, aber hält sich in Grenzen, kannst gar eine Klasse BufferedRandomAccessFile schreiben

 

[Marco13]

Du könntest dir auch mal MappedByteBuffer (Java Platform SE 6) ansehen. Ich selbst habe es noch nicht praktisch eingesetzt, aber soweit ich das verstehe, könnte es damit möglich sein, die ersten paar bytes einer Datei zu mappen, in den Daten rumzupfuschen, und das ganze nachher dann mit "force()" wieder zurückzuschreiben. Vorausgesetzt natürlich immer, du weißt vorher schon, wie viele Bytes dort einzufügen sind, aber wenn du meinst "Position 4, 4 bytes lang" würde das ja passen.

 

[megaflop]

Also ich hab eben an den ByteArrayOutputStream gedacht.

Du hast gesagt, du weist vorher nicht, wie viele Daten es sind. Also schreibst du deine Daten kontinuierlich in einen ByteArrayOutputStream. Wenn du fertig bist, gibt es da eine Methode .toArray() o.ä., mit der du ein Array erhälst. Über dieses kannst du dann a) die größe bestimmen und b) das array nach dem Header in einen anderen Stream packen (zB FileOutputStream).

Eignet sich natürlich nur, wenn deine Daten nicht allzu groß sind.

 

[Marco13]

Hier mal ein Beispiel

import java.io.*;
import java.nio.*;
import java.nio.channels.*;

public class MappedByteBufferTest
{
    public static void main(String[] args) throws Exception
    {
        System.out.println("Writing");
        FileOutputStream fos = new FileOutputStream("test.txt");
        int length = 12345;
        fos.write(new byte[]{'S','I','Z','E'});
        fos.write(new byte[]{'\0','\0','\0','\0'});
        for (int i=0; i<length; i++)
        {
            fos.write('X');
        }
        fos.close();

        System.out.println("Modifying");
        FileChannel c = new RandomAccessFile("test.txt", "rw").getChannel();
        MappedByteBuffer b = c.map(FileChannel.MapMode.READ_WRITE, 4, 8);
        b.putInt(length+8);
        b.force();
        c.close();

        System.out.println("Reading");
        DataInputStream dis = new DataInputStream(new FileInputStream("test.txt"));
        String s = ""+(char)dis.readByte() +(char)dis.readByte() +(char)dis.readByte() +(char)dis.readByte();
        int size = dis.readInt();
        System.out.println(s+" = "+size);
    }
}

 

[Empire Phoenix]

Um dir eindeutig einen sinnvollen tip geben zu können müssen wir die maximale datengröße, die durschschnittliche sowie die randbedingungen (wenig ressourcen, oder speed egal wieivel speicher frisst) wissen.

Generell wurden dir beide sinnvolle Lösungen schon gegeben, das ist erstmal die grundlegende entscheidung.
Als interessante alternative könnte man sich einen eigenen Stream schreiben, der einen mittelgroßen cache hat und nur beim überschreiten von diesen das ganze auf die festplatte auslagert. Dann hat man sowohl den performancevorteil bei kleinen dateien, als auch die garantie das es noch mit großen zuverlässig funktioniert

 

[Maecky]

Hi,

danke fuer die vielen konstruktiven Antworten. Ich glaube fuer mich die beste Loesung ist es, die RandomAccessFile Klasse mit einem eigenen Buffer zu erweitern.

@Megaflop: mit dem ByteArrayOutputStream habe ich wieder das Problem, dass die Daten alle vorerst im Arbeitsspeicher liegen
@Marco13: genau sowas in der Art habe ich gesucht
@Empire Phoenix: Die Randbedingungen sind: das Programm laeuft auf Android -> so wenig Ressourcen wie moeglich verbrauchen, groesstmoeglicher Speed; Datengroesse weiss ich darum nicht, da ich vom Microfon aufnehme und die Daten im RAW Format daherkommen -> je laenger ich aufnehme, desto groesser natuerlich die Datei, dabei kommen schnell einige 100MB zusammen...

Ich werde jetzt mal die Idee von Marco13 an meine Beduerfnisse anpassen und mal schauen, wie die Performance so ist. Falls noch wer Ideen hat, immer gerne her damit .

Danke schonmal, echt super Forum hier!!

Gruesse, Maecky

 

[Maecky]

So, hab mich jetzt mal registriert, damit ich meine Beitraege auch editieren kann

@marco13: habe mir gerade die FileChannel Klasse angesehen und diese besitzt ja eine write(ByteBuffer src, long position) Methode, welcher ich eine Position zum schreiben angeben kann... Gibt es einen bestimmten Grund, dass man das ueber den Umweg des MappedByteBuffers macht?

thx,
Maecky

 

[Marco13]

Nein, eigentlich nicht. Und im Nachhinein hatte ich mir auch überlegt, ob es nicht auch mit einer RandomAccessFile allein möglich sein sollte, das zu machen (ohne dass man dafür die komplette Datei laden muss). Genaugenommen war das Beispiel nicht zuletzt ein Test für mich selbst, weil ich mal schauen wollte, wie das mit den MappedByteBuffern so läuft