Suche in logfiles mit Lucene / Solr

[RoNa]

Hallo,

wir möchten grosse log4j-Logdateien mit Lucene / Solr durchsuchen und dort Zeilen mit einem speziellen Argument finden.
Dabei soll jede Zeile ein Dokument für die Suche darstellen. Das Logfile wächst dabei kontinuierlich und der Suchindex soll laufen aktualisiert werden.

Hat sowas schon jemand realisiert und kann mir vielleichet einen Tipp geben?

Gruß,

Robert

 

[fastjack]

Ihr könnt Euch einen eigenen Log4j-Appender dafür schreiben. Falls historische Logdateien exitsieren müßt Ihr diese durch eine eigenen Indexer in den Index einfügen, das bringt natürlich noch einen kleinen Parser mit ins Spiel, der aus den Logeinträgen Dokumente erzeugen kann.

 

[RoNa]

Danke, eine gute Idee. Das Problem ist nur: die eigentliche Anwendung darf wg. Logging nicht zu langsam werden oder gar. nicht mehr funktionieren. Der Appender muss dann in einem asynchronen Thread laufen.

Noch andre Anregungen?