OutOfMemoryError in nebenläufigen Threads

[Morchel]

Hallöchen,

aktuell arbeite ich an einer Anwendung, die unter Anderem in einem bestimmten Ordner alle bestimmten Dateien auslesen und parsen soll. Problem hierran ist, dass es dabei bei bestimmten Dateien zu einem OutOfMemoryError führen kann, da sie schlicht zu groß sind (Sind aber keine schlichten Textdateien, die man einfach Zeilenweise auslesen kann).

Dass man keine Error abfangen soll ist mir klar, da man so nicht genau weiß, ob noch der komplette Speicherbereich korrekt ist. Wie verhällt es sich dabei aber, wenn ich diese "risikoreichen" Operationen in einen eigenen Thread auslagere? Wenn dieser erfolgreich durchläuft, möchte ich die ermittelten Daten auslesen, ansonsten sollen sie vollständig verworfen werden.

Mein Ziel soll dabei sein, dass, wenn es zu einem Fehler kommt, die nachfolgenden Dateien trotzdem ausgelesen werden können und der Anwender ggf. eine Meldung bekommt, dass es bei Datei XY zum Problem kam.

So hab ich das testweise auch schon umgesetzt und es wirkt oberflächlich (!) betrachtet i.O.
Ist es in dem Fall i.O so vorzugehen oder ist es trotzdem zu heikel die Anwendung weiterlaufen zu lassen, anstatt sterben zu lassen?

Das ganze läuft unter Tomcat. Wie handhabt dieser das eigentlich? Wenn durch bestimmte Seitenaufrufe ein Error auftritt zeigt dieser ja auch nur ne Fehlermeldung an, lässt aber soweit die JVM weiterlaufen, oder nicht?

Ich bedanke mich schonmal für die Antworten.


Schönen Gruß
Morchel

 

[timbeau]

Ich weiß nicht, wie Tomcat diesen Fall behandelt aber willst du nicht einfach Dateien ab einer bestimmten Größe überspringen? Wäre doch sinnvoller als immer bis zur OOME laufen zu lassen.

 

[maki]

OutOfMemoryError bezieht sich auf die gesamte JVM, nicht nur auf einzelne Threads.

Wenn ein OOME auftritt, hast du schon verloren, danach gibt es keine Garantieren mehr für deterministisches Verhalten, wenn du es richtig machst wird die JVM danach beendet, fangen von OOME ist was für Experten, und die werfen sie weiter nach eventuellem Logging (obwohl letzteres eben nciht mehr Garantiert ist).

Kurz: Du hast gepfuscht.

Ist nicht böse gemeint, soll aber deutlich machen was du da fabriziert hast.

So, nachdem das geklärt ist, mal zu den Alternativen.

1. Du must nicht immer die ganzen Dateien auf einmal in den RAM laden.
2. Wie hat du den die Tomcat Parameter für die JVM bez. Speicher konfiguriert? Tomcat hat per Default sehr wenig zugewiesen.

 

[SlaterB]

'irgendein Error', etwa 'Xy nicht gefunden', ist aber nicht unbedingt mit OutOfMemoryError zu vergleichen, das betrifft fast alles,

besonders tückisch: dein Nebenthread könnte gerade 99% des Speichers belegen und in dem Moment ein 'normaler' Thread drankommen,
nur seine drei Objekte erzeugen und dann DORT der OutOfMemoryError auftreten,
voll ist voll, egal wer für die Hauptlast verantwortlich ist,

vielleicht solltest du lieber bisschen kontrollieren, was eingelesen wird, vorher Dateigröße anschauen, eingelesene Bytes mitzählen oder daraus erzeugte Objekt-Mengen ungefähr abschätzen,
natürlich muss dann die Gesamtsituation bekannt sein, ob nicht mehrere derartiger Brocken-Threads gleichzeitig laufen,

Nebenläufigkeit ist generell eigentlich nicht nötig, egal ob du zählst oder die Exception abfängst, das geht in einem Thread genauso wie im normalen Programm,

auch nicht zu verachten ist die direkte Abfrage des Speicher-Zustandes des Programms über Runtime-Klasse

 

[Morchel]

Ich weiß nicht, wie Tomcat diesen Fall behandelt aber willst du nicht einfach Dateien ab einer bestimmten Größe überspringen? Wäre doch sinnvoller als immer bis zur OOME laufen zu lassen.

Ja, hatte ich auch schon im Hinterkopf. Irgendwie anhand des maximalen oder noch verfügbaren Speichers ermitteln, wie groß die Datei sein darf etc.

Kurz: Du hast gepfuscht.

Ist nicht böse gemeint, soll aber deutlich machen was du da fabriziert hast.

Deswegen frage ich ja nochmal nach, bevor ichs so lasse. Hab mir schon beinahe (aber eben nur beinahe) gedacht, dass man so dennoch weiterhin die Probleme hat. Ich hab zwar viel danach gesucht, habe aber keine genaue Antwort auf meine Frage gefunden gehabt. Wollte nun einfach nochmal sichergehen.

So, nachdem das geklärt ist, mal zu den Alternativen.

1. Du must nicht immer die ganzen Dateien auf einmal in den RAM laden.
2. Wie hat du den die Tomcat Parameter für die JVM bez. Speicher konfiguriert? Tomcat hat per Default sehr wenig zugewiesen.

Das 2. zuerst ; ) : Der Speicher wurde schon erhöht, nur irgendwann ist auch mal gut, damit die JVM nicht zu viel RAM blockiert, nur weil alle paar Tage mal acht mal so viel Speicher, als üblich benötigt wird.

1. Schon klar, wir verwenden allerdings eine externe Bibliothek. Genauer gesagt Apache Tika (was ja wiederrum u.A. Apache POI verwenden).
Hier gibt es zwar auch einen Parser (ForkParser), der das auslesen in einen externen Prozess verschiebt, allerdings wirkt dieser auf mich noch recht experimentell, weswegen ich diesen nicht direkt einsetzen möchte. Dazu ist er auch noch so gut, wie gar nicht dokumentiert. Hatte da die Tage auch schon viel probiert, aber nie richtig zum laufen gebracht.

 

[maki]

Hast du mal nach deiner Tika Verion (?) gegoogelt, scheint ein Problem mit einer alten Version zu geben.
Ansonsten führt eine Googlesuche mit "Tika OutofmemoryError" schon zu einigen Ergebnissen und ein paar Workarounds (es zB. nciht zu nutzen).

Würde mal in der Tika Mailinglist posten bzw. suchen, ist recht speziell dein Problem.

 

[Morchel]

Hast du mal nach deiner Tika Verion (?) gegoogelt, scheint ein Problem mit einer alten Version zu geben.
Ansonsten führt eine Googlesuche mit "Tika OutofmemoryError" schon zu einigen Ergebnissen und ein paar Workarounds (es zB. nciht zu nutzen).

Würde mal in der Tika Mailinglist posten bzw. suchen, ist recht speziell dein Problem.

Jop, hab da natürlich schon viel gesucht und auch mehrere und neuere Versionen getestet (auch den aus dem Trunk). Speicherverbrauch wurde geringer und auslesen auch schneller.
Aber meine ursprüngliche Frage habe ich ja auch bewusst allgemein gehalten. Wollte einfach meine Vermutung bestätigen lassen. : )
Werde mich aber mit den spezielleren Fragen auch wohl direkt an die dort wenden.

Oder eben (vorerst) eine schlichtere, wenn auch weniger Optimale Lösung suchen. Zu viel Zeit kann ich im Moment dafür auch nicht aufbringen, da es insgesamt auch eh recht selten auftritt.