Problem mit garbage collector

[MRPSV]

Hallo Leute,
ich hab ein Programm geschrieben mit dem man übers Netzwerk Dateien tauschen kann. Bis jetzt funktioniert es auch, das Problem is nur das wenn mein Programm eine Datei einliest, dass der Arbeitsspeicher sich total überfüllt und das lässt sich auch nach dem übertragen nicht mehr rüggängigmachen mit dem garbage collector nur mit einen Programmneustart. Ich lese die Dateien immer mb für mb in ein byte array und schicke es dann mit dem ObjectOutputStream raus. Woran kann das liegen??

 

[Wildcard]

Vermutlich hast du noch eine Referenz auf die Daten

 

[MRPSV]

Ja hab ich auch gedacht und hab alles mal testweise so programmiert das alle Variabeln die mit dem senden zu tun haben jedes mal mit new neu erstellt werden. Hat auch nichts genützt. Und der Bereich in dem die Datei gesendet wird, wird jedes mal neu erstellt und auch danach wieder gelöscht nachdem eine Datei komplett rausgesendet wurde. Somit dürften eigentlich keine Referenzen davon erhalten sein.
Ich hab aber eben herausgefunden das es daran liegt das alles was ich in den ObjectOutputStream schreibe und raussende ist das was im Speicher vorhanden bleibt, weil wenn ich die zeile rausnehme in der die Datei in denObjectOutputStream geschrieben wird, dann überfüllt sich auch der arbeitsspeicher nicht mehr. Hat jemand Erfahrung mit dem ObjectOutputStream, dass wenn sowas passiert??

DAnke schonmal für Ideen oder Lösungen.

 

[Wildcard]

Schließst und löschst du den Stream auch?

 

[MRPSV]

Ne ich schließ den nich, weil man soll die möglichkeit haben noch eine Datei zu senden und außerdem ist da noch eine Chatfunktion im Programm die auch über dem selben ObjectOutputStream läuft. Sollte man für die Dateien eine extra Port öffnen und jedes mal schließen wenn die Datei drüben is??

 

[Wildcard]

Ein ObjectOutputStream buffered alle geschriebenen Objekte und verwendet sie wieder.
Eigentlich ist das eh der völlig falsche Stream für MB große Daten aus einer Datei(!).

 

[MRPSV]

ok dann erklärt sich auch der Fehler den ich mal hatte mit dem byte array. Aber wie soll ich dann die Dateien senden??

 

[Wildcard]

Was spricht gegen einen einfachen BufferedOutputStream?

 

[MRPSV]

Hmm eigentlich nichts. Aber kann man den BufferedOutputStream zwischen den Socket und und dem ObjectOutputStream einbinden?? Weil das Programm ist ja so geschrieben das es die Daten über den ObjectOutputStream raussendet, weil es ja nur so Strings und Bytearrays schicken kann. Und wie behebt der BufferedOutputStream den Fehler denn?? weil der bufferd doch auch die Daten wenn ich das richtig verstanden hab.

 

[Wildcard]

Erklär mir zuerstmal warum du an irgendeiner Stelle deines Programms einen ObjectOutputstream benötigst um Binärdaten zu verschicken?

 

[Guest]

Weil ich in einem Objekt den Namen der Datei, die Größe, dass es überhaupt eine Datei is und das Bytearray der Datei selbst schreibe und es dann verschicke. Zugleich werden auch in einen Objekt der Text geschrieben der verschickt werden soll um mit jemanden zu chatten, den nur mit dem ObjectOutputStream kann ich beides zu gleich über einen Port senden.

 

[Wildcard]

Wenn du bei dieser Architektur bleiben willst, muss dir aber klar sein das du erstens einen Overhead erzeugst (was für größere Datenmengen natürlich ungünstig ist) und (wie du ja bemerkt hast) dir massiv den Heap vollschreibst.
Als Quickfix kannst du versuchen den Stream zu reseten, allerdings bin ich mir nichtmal 100% sicher ob dabei auch der interne Cache gelöscht wird.
Ein ObjectOutput/InputStream ist nicht für binäre Daten gedacht.
Ich vermute mal du baust eine art Chat Client der auch Dateien übertragen kann. Hast du mal über eine RMI basierte Lösung nachgedacht?

 

[MRPSV]

Ja es is ein Chatclient der auch Dateien übertragen kann und es gibt auch eine Serverversion die leider auch eine heapüberfüllung bekommt. Aber wie sendet man denn dann in Java Dateien über das Netzwerk wenn ObjectOutput und InputStream nich dafür gedacht sind?? Es gibt doch keine anderen möglichkeiten um einen Stream aufzubauen als mit diesen beiden Klassen, weil sie doch die Grundklassen aller anderen Streamklassen, soweit ich mich erinnere.

 

[MRPSV]

ohh sorry ich dachte du meintest, dass man mit den Klassen OutputStream und InputStream keine binäre Daten schicken kann. Aber schicke ich dann binäre Daten??

 

[Wildcard]

Absolut nicht. Es gibt zig verschiedene Streams, und die Object-Streams sind in der Tat sehr speziell.
Die Basis bilden InputStream und OutputStream.
Eine erweiterung sind dann zB die gepufferten Streams BufferedInputStream und BufferedOutputStream. Damit schickt man zum Beispiel gerne Binärdaten.
Für Strings wiederum nimmt man gerne Reader und Writer.
ObjectOutputStreams hingegen sind zur Serialisierung von Objekten gedacht.

 

[Guest]

Bevor das Programm Dateien schicken konnte hab ich auch Reader und Writer benutzt, nur danach wusste ich nich wie ich Dateien über den selben Port schicken sollte um Strings und Bytearrays schicken zu können daher kam ich auf die Idee immer ein Object mit dem ObjectOutputStream zu schicken weil ich da ja beides zugleich reinbekommen hatte.

 

[Wildcard]

Du Grundidee ist ja nicht verkehrt, aber auf diese Weise erzeugst du bei Dateien einen riesigen Overhead.

 

[MRPSV]

Ja ok dann weis ich erstmal was das Problem war. Nun brauch ich aber ja einen neuen Ansatz. Sollte ich jetzt einen weiteren Socket öffnen und über den ein BufferedOutputStream und BufferedInputStream öffnen um darüber die Dateien zu schicken??oder gibt es eine Möglichkeit über ein und den selben Socket eine Reader, Writer BufferedInputStream und BufferedOutputStream zu öffnen?? Oder eine andere Idee mit der ich dann die Daten buffern kann und binäre Daten und einfache Strings senden kann über den selben Socket??

 

[Wildcard]

Ich würde entweder einen anderen Port verwenden, oder über RMI gehen.

 

[Guest]

Also von RMI hab ich leider keine Ahnung aber ich denke mal, dass das dann geht mit einen anderen Socket die Dateien zu schicken. Weil es das einzigste ist was mir sonst noch einfällt wie es dann realisierbar wäre.
Aber dank dir für die Hilfe nach der suche des Problems.
Ich schau dann nochmal ob ich das hinbekomme das mit RMI zu realisieren.