ObjectInputStream und OutOfMemory

[JavaDirk]

Hallo,

ich habe eine kleine Frage, wie ObjectInputStreams arbeiten:
Wenn ich so einen erzeuge, wird Java dann die komplette Datei in den Speicher schaufeln? Anders kann ich mir nicht erklären, wie in meinem Programm der OutOfMemory zu Stande kommt...
Weil ich nämlich immer nur in einer Schleife ein Objekt lese, dieses in einen ObjectOutputStream schreibe und fertig. Die Datei, die ich einlesen will, ist sehr groß (>200 MB). Oder liegt das eher daran, dass man periodisch die reset-Methode auf den ObjectOutputStream aufrufen sollte?

Freue mich auf eure Antworten !

Dirk

 

[foobar]

Versuch mal den Stream regelmäßig zu flushen. Ansonsten mußt du mehr Arbeitsspeicher allokieren:

java -Xms 250M

http://java.sun.com/j2se/1.4.2/docs/api/java/io/ObjectOutputStream.html#flush()

 

[JavaDirk]

Hallo,

bin mit dem allokierten Speicher schon an der oberen Grenze, mehr geht da nicht.
Aber zurück zum Problem: Oder könnte es sein, dass die ausgelesenen Objekte aus der Datei anschließend im ObjectInnputStream gespeichert werden, so dass dadurch irgendwann der Speicher voll wird? Kann das einer von euch bestätigen oder verneinen? Und wenn es so ist: wie vermeide/verhindere ich das?

Vielen Dank,
Dirk

 

[foobar]

Poste doch mal etwas Code, vielleicht mußt du ein paar Variablen wieder auf null setzen.

 

[jptc.org]

Verwendest Du den ObjectInputStream direkt, oder kapselst Du diesen Stream noch über einen BufferedInputStream?

 

[JavaDirk]

Der ObjectInputStream wird direkt verwendet.

 

[JavaDirk]

hier ein Code-Ausschnitt:

try{
      FileInputStream tempfile = new FileInputStream(CodexTesterMain.tempPath+filename);
      ObjectInputStream in = new ObjectInputStream( tempfile );
      //alles etwas unsauber... wir lesen solange, bis ne IOException geworfen wird
      while (true){
	vp = (ValuePair)in.readObject();
	StringBuffer temp=new StringBuffer();
	temp.append(((Parameter)para.getSubparameter().elementAt(i)).getName()).append(" := ").append(vp.getValue());
	int threshold=vp.getThreshold();
	vp=null;
	temp.insert(0,addSpaces.toString()).insert(0,whiteSpace8).insert(0,"{\n").
                     append("\n").append(whiteSpace6).append(addSpaces.toString()).append("}");
        o.writeObject(new ValuePair(temp.toString(),threshold));
            
        flushCounter++;
        if (flushCounter>100) {
            o.flush();
	    flushCounter=0;
	}
      }
}catch (IOException ioe){
}catch (ClassNotFoundException cnf){
}

Der OutOfMemory kommt in der 7. Zeile, ValuePair ist ein Objekt, was aus einem String und einem int besteht.

 

[JavaDirk]

Hallo,

ich bin mir zur Zeit sehr sicher, dass der ObjectInputStream die Objekte, die er aus einer Datei gelesen hat, in sich speichert (warum auch immer), so dass dadurch der outOfMemory irgendwann herrührt. Habe das Problem so gelöst, dass ich meine Inputdatei in mehrere kleine aufspalte und den jeweiligen inputStream schliesse, wenn ich mit der Datei fertig bin. OutOfMemory kam da noch nie.

Ciao,
Dirk

 

[Illuvatar]

Hier steht etwas über so einen Effekt beim ObjectOutputStream.

 

[Bleiglanz]

200MB mit serialisierten Java Objekten?

das ist Irrsinn...

 

[stev.glasow]

Las mal n Profiler drüber laufen, ich glaube nicht das der InputStream hier schuld ist, ich tippe ehr auf deinen StringBuffer .
Profiler Tutorial: http://www.java-forum.org/de/javabuch/html/k100309.html#profilereinsatz
N Bisschen eigenartig ist die ganze Geschichte trotzdem.