Glassfish bricht zusammen HTTP 503

[OnDemand]

Hallo zusammen,

mein Programm führt etliche DB Updates gleichzeitig aus und lädt in anderen Threads Bilder herunter.

Heute ist er dabei zusammengebrochen, im Log steht nichts. Da stehen nur meine Logeinträge drin die ich brauche aber keine Exception die ihn zum Absturz hätte bringen können.

Wo könnte ich anfangen zu suchen um das Nadelöhr zu finden? Hat jemand paar Tipps?

Edit: Habe 200 Threads im Pool, sollte man das erhöhen? Jedes der 20.000 Bilder wird in einem Thread heruntergeladen, vielleicht ist dies schon das Problem aber wie kann ich das Problem verifizieren?

Edit Edit:
Auch dann bricht es zusammen

 

[Bitfehler]

Reden wir über Threads, die du aus Java heraus startest oder über Glassfish-Threads?

Was liefert ulimit -a (Linux-Kommando) zurück?

 

[OnDemand]

Danke für deine AW! Die Threads werden vom GF gestartet mit Annotation asynchronous. Glaube aber nicht dass es daran liegt.. Die letzten dutgänge verliefen jetzt Problemlos.vielleicht liegt es am Server weil GF kurz 90 prozent CPU futtert?!

Ulimit -a gibt aus :
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 127376
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 10240
cpu time (seconds, -t) unlimited
max user processes (-u) 127376
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited

 

[Bitfehler]

Kannst du den Absturz durch reproduzierbares Verhalten herbeiführen?
Wenn ja, erhöhe mal das gesetzte Limit für open file und versuche es erneut.

 

[OnDemand]

Öhh ne hab jetzt alle Funktionen aufgerufen sie es gibt aber es läuft.... hmm vielleicht andere server Prozesse...Wie kann ich das denn erhöhen unter Debian?

 

[Bitfehler]

ulimit -n 8196, gültig für eine Session. Ansonsten über einen Kernel-Parameter oder so ähnlich. Musst du googlen.

Ansonsten musst du mal gucken, was in den Logfiles des OS steht (syslog, messages,..)

 

[OnDemand]

Gute Idee danke!

 

[OnDemand]

Also mein GF bricht nach wie vor zusammen. Er geht kurzzeitig über 300% CPU läuft dann aber weiter runter bis auf 2% und läuft und läuft, bis er plötzlich abkackt ohne jeglichen Logeintrag. Anbei mal htop, falls das was bringt. Hab jetzt mal GF aktualisiert, mal sehen was jetzt passiert :/

 

[OnDemand]

Nichts passiert, bricht immer noch ab. Scheinbar legt mein Server komplett Java lahm denn Jira und Co gehen dann auch ni mehr

 

[Bitfehler]

An deinem Bild fällt mir folgendes auf:

1. Warum läuft dein Java im Root-Kontext?
2. Dein Server hat ca. 65GB RAM. Deine Java-Prozesse können im schlechtesten Fall über 100 GB RAM anfordern. Die anderen Prozesse habe ich dabei gar nicht berücksichtigt.

 

[OnDemand]

Das kann ich dir nicht sagen warum root, wurde mir so eingerichtet. Aber bin froh das Java läuft und nicht openjdk. Warum können die Prozesse mehr als verfügbar anfordern? Wäre nett wenn du mir helfen könntest

 

[Bitfehler]

Du verwendest Java 1.8.x.

Die langen Java-Zeilen zeigen an, wie viel Glassfish-Instanzen(?) gestartet wurden. Es gibt davon über 15.
Jede dieser 15 Instanzen hat für den Parameter xmx 8GB gesetzt gekommen. Dieser Parameter gibt an, wie viel Speicher maximal angefordert werden. Sind nun alle Instanzen stark ausgelastet, kann mehr als dein verfügbarer Speicher angefordert werden (15*8 > 65). Da es die maximale Grenze darstellt, tritt dieser Fall nicht zwingend ein.

Des Weiteren wird die PermSize ebenfalls gesetzt. Diesen Parameter kannst in Java 8 aus deinem Startbefehl entfernen, da er eh ignoriert wird.

Deine Java-Prozesse laufen als root, da du deinen Glassfish als root startest. Ich persönlich finde das nicht besonders gelungen bei Applikationsservern, aber das ist eine andere Sache und trägt auch nicht zum Problem bei.

Ich bin mir gerade nicht sicher, ob das Instanzen, Prozesse, Threads, Worker oder noch was anderes. Ich meine aber immer eine Zeile.

 

[OnDemand]

Ja stimmt, habe da im Bild als root gestartet, habe aber einen User dafür.

PermSize stimmt, wird ja eh ignoriert, werde den xmx mal runternehmen. Aber mittlerweile startet er nicht mal mehr. Waiting for domain to start.... und die punkte laufen und laufen :-/

Werd den gleich nochmal komplett neu aufsetzen. Nervt einfach nur tierisch...Gibt es irgend eine Empfehlung welche JVM Settings zu nehmen sind?

 

[Bitfehler]

Gibt es irgend eine Empfehlung welche JVM Settings zu nehmen sind?

Die sind vom Entwickler vorzugeben, also wahrscheinlich von dir

 

[OnDemand]

ich habs befürchtet ich teste grad mal payara ist ein glassfish-Abkömmling, hat da jemand schon Erfahrungen gemacht?

 

[OnDemand]

So mit pagaya läuft es jetzt erstmal wieder...Habe aber noch kein Jura o.ä. gestartet. Frisst das denn so viel? Sollte ich jira confluence und Co auf einen anderen Server ziehen oder meiner app einen eigenen geben? Hab kein Gefühl dafür wie viel ein Server verkraften kann...Ich meine das ist schon ne starke Kiste, das muss der doch packen

 

[OnDemand]

Jetzt hab ich den Übeltäter gefunden... habe den ganzen TZag den Server beobachtet...Folgendes Szenario:
Meine App liest jede Stunde besagte Dateien ein, erstellt Objekte etc. Dabei wird der RAM immer voller und voller und irgendwann läuft er über umd bums, aus die Maus. Jetzt die Frage: Warum werden die Objekte nicht vom Garbage Collector gelöscht? Kann man die Objekte irgendwie alls löschbar markieren?

In meiner domain.xml sind 2 JVM Settings, hindern diese den GC vilelleicht am aufräumen?

  <jvm-options>-XX:+DisableExplicitGC</jvm-options>
        <jvm-options>-Dfelix.fileinstall.bundles.new.start=true</jvm-options>
        <jvm-options>-XX:NewRatio=2</jvm-options>
        <jvm-options>-XX:+AggressiveHeap -XX:+UseParallelGC -Xmx512m -Xms512m -Xss512m -XX:-UseLoopPredicate -XX:+UseCompressedOops</jvm-options>

Edit: anbei noch ein Screenshot. in Spalte VIRT steht, max. 33,9G sobald diese in Spalte RES erreicht werden, kackt es zusammen. Ein Neustart von Glassfish/Payara leert den RAM und alles lkäuft wie geschmiert. Könnte den GF stündlich neu starten, aber dass ist ja nicht sinn der Sache, muss auch anders gehen, richtig?

 

[Bitfehler]

Bist du dir sicher, dass die Option DisableExplicitGC gesetzt sein soll/muss?

 

[OnDemand]

Han es gestern früh raus genommen und weniger xmx gegeben, seit dem keine Probleme mehr. Hoffe es lag nur daran