Strukturänderungen/abnormalien in Logfiles automatisch erkennen

[PFEdi]

Ich suche nach einem Tool oder Algorithmus, mit dem ich Log files analysieren kann.
Es sollte helfen, Änderungen im normalen Logfile fluss / stuktur zu finden.

Wenn ich weiß, dass die Anwendung bis zum Zeitpunkt X einwandfrei funktioniert hat, sollte überprüft werden, welche Änderungen in der (Struktur der) Log fiels zu diesem Zeitpunkt vorgenommen wurden - z.b.: wenn Logeinträge auftauchen die es zuvor nie gab, etc

Gibt es ein Tool, das in einem solchen Szenario hilft, ohne den Aufwand, dieses von Grund neu zu entwickeln oder den Algorithmus tagelang anzupassen?

 

[Xyz1]

Moin, du kannst eine AI (ANN) verwenden. Die einzelnen Zeilen müssen zuerst kategorisiert und anschließend nach Ähnlichkeit zusammengefasst werden.

ohne den Aufwand, dieses von Grund neu zu entwickeln oder den Algorithmus tagelang anzupassen

Nein.

 

[thecain]

Das nennt sich Anomaly Detection und ist bei einigen Tools vorhanden. z.b. https://www.loggly.com/docs/anomaly-detection/

Selber sowas zu bauen ist aufwändig.

 

[PFEdi]

Naja eigenes Neuronales Netzwerk möchte ich jetzt nicht trainieren

Loggy müsst ich mir mal genauer anschauen.
Aber eigentlich kann das auch nur eine änderung der häufigkeit von Log einträgen herausfinden.
-> wobei wenn ich mir das überlege ist das vieleicht der erste scrhritt ...

eine gewisse Beschreibung des Log formats müsste ich wohl zuerst ohnehin machen
(Timestamp) (Application name) (thread) (Loglevel) (function/class path) (log message)
Und wenn man das parsen kann:
* kann man "leicht" die Frequenz der verschiedenen Log levels bestimmen (natürlich müsste man dazu auch noch einen algorythmus bestimmen - wenn da wer was weiß oder Ideen hat ...)
* danach auch nach verschiedenen functions/classes
* und zuletzt (und am schwirigsten) kann man sich auch noch überlegen wie man die Log messages analysiert
-- hier müsste man vleicht mal schaun ob es möglich ist - vl starke Längenvariationen zu bestimmen (für die jeweilige zuvorsthenden kombies)

 

[Wurstkopp]

Hast du denn Kontrolle über den Code? Dann würde ich eher versuchen das Logging so zu gestalten, dass es auch ohne externe Analyse-Tools sprechend ist. z.B. DEBUG/INFO Logs deaktivieren oder in separate Dateien loggen. Insgesamt einfach das ganze in mehrere Einzellogs aufteilen, je nach dem wie es für die Anwendung Sinn macht (Package, Klassen, Eigene Strukturen). So würde es vielleicht schon reichen zu prüfen, ob in einem Log ein ERROR vorkommt, um einen sinnvollen Alarm zu schlagen.

 

[PFEdi]

Das ändert noch nicht viel an der Sache - wenn ein Programm läuft änderst du es nicht mal eben weil die Loglines besser gesetzt werden könnten.
Auch ist das bei einem vielleicht 10 Jahre alten (verteilten) System nicht so leicht.
Die oben erwähnte Analyse sollte eigentlich auch nicht soooo schwer sein - habe hald gehofft - das ich das nicht von hand auf selbst machen muss ...
weil vieles hald doch "Arbeit" ist. Und einiges auch initial sicher nen denk aufwand bedeutet.
Und wenn ich von einem einfach ERROR irgendwo schon wüsste alarm schlagen zu müssen ... dann wäre wohl Anwendung eh zu einfach für die von mir erdachte analyse ...