5000-6000 Dateien nach Textblocken suchen

[chuanito]

hallo,

Ich habe folgendes Problem, das ich zu lösen versuche:

-in einem einzigen Verzeichnis befinden sich ca. 5000-6000 Dateien die in Ihrer grösse sehr
unterschiedlich sein können. (10kb-1mb)
-diese Dateien beinhalten Textstellen (irgendwo im Text) nach denen ich mit einer Eingabe
gesucht werden muss.
-jeder Block im Text ist klar gekennzeichnet wie z.B

123456
123456 Adresse der_gesuchte_text
123456 Wohnort
456435
456435 Adresse
456435 Wohnort

Was ich nun versuche ist durch diese 5000-6000 Dateien zu gehen und diesen "der_gesuchte_text"
zu finden. Wenn ich es gefunden habe sollte es die ersten 6 stellen (in diesem Fall "123456") herausfiltern
und den ganzen Block mit diesen "prefix" anzeigen.

Ich verwende immer noch Java 1.3 daher kommt höchsten die RegExp Funktionalitäten von commons oro
in Frage..

vielen Dank im voraus für die Antworten,
Chuanito

 

[Sky]

Warum machst Du das mit JAVA ?

Unter UNIX findet man sowas wie 'grep'.

Wenn's doch mit JAVA sein soll: String#indexOf kannst Du zum suchen verwenden.

 

[AlArenal]

Wenn das ne einmalige Sache ist und es aufs Ergebnis ankommt, hat Sky Recht, da ist man mit nem Linux gut aufgehoben...
Natürlich gehts mit Cygwin auch the Unix way auf Windows-Basis...

Wenn es unbedingt Java sein muss und das ganze öfter benötigt wird, schau dir mal Lucene an, das ist ein Framwork/eine Lib für Suchmaschinen.

"Lucene 1.4 will run with JDK 1.3 and up but requires at least JDK 1.4 to compile. Lucene >= 1.9 requires Java 1.4."

Vor Urzeiten habe ich beim Online-Chefredakteur der Wirtschaftswoche auch mal ein freies Tool für Windows gesehen, dass über komplette Verzteichnisse Suchen und Suchen/Ersetzen kann.. hab aber vergessen wie es heißt..

Ansonsten würde ich auch mal über irgendwelche Desktop-Suchmaschinen nachdenken. Gibt auch eine in Java geschrieben (Unterbau ist Lucene): http://kbforge.com/

 

[chuanito]

Nun, es gibt ein Shellskript, der diese Suche schon macht...es gibt einfach die dateinamen aus, die diesen
Text beinhalten..
Ich will aber ein Webinterface machen, damit sich die Suche vereinfacht und auch Leute suchen können,
die kein Zugriff auf diesen Server haben.

 

[AlArenal]

Dann haste die o.g. Möglichkeiten und noch mehr (PHP, Python, ...).

Ob du dann dein Shell-Skript weiterverwenden, oder das Ganze neu implementieren willst, ist dabei dir überlassen. Zwingend Java-spezifisch ist das jedenfalls nicht. Erinnert mich an die guten alten CGI-Skripte in Perl.. oder Perl mit Webseiten vermanscht über mod_perl für den Apache Webserver...

Wie gesagt, Möglichkeiten zur Umsetzung hast du en masse...

 

[chuanito]

ich glaube, dass ich mich nicht klar genug ausgedrückt habe

Ich will das ganze mit JAVA schreiben.Sonst hätte ich es nicht in einem Java-Forum
gepostet

Ich weiss, dass solche aufgaben sicherlich angenehmer in Perl zu realisieren sind aber
dies ist nicht möglich aufgrund der Gegebenheiten an meiner Arbeitsstelle ;-)

 

[Murray]

Mit Java lässt sich das doch auch ziemlich "straightforward" lösen:
1. Dateien im Verzeichnis auflisten -> java.io.File#listFiles
2. Dateien zeilenweise einlesen -> BufferedReader, ggfs. Forensuche
3. Präfix fester Länge abtrennen -> java.lang.String#substring
4. Ob die Zeile das gewünschte Muster enthält, lässt sich mit java.lang.String#indexOf erkennen (wie Sky schon geschrieben hat)

Um jetzt nicht nicht nur die eine Zeile, sondern den gesamten Block auszugeben, muss man das noch etwas erweitern; ich würde mir immer dann, wenn ein neues Präfix kommt, einen Puffer (z.B. einen java.util.Vector) anlegen und alle Zeilen mit dem Präfix in diesen Puffer schreiben und jeweils prüfen, ob die Zeile das Muster enthält.

Wenn ein neuer Puffer angelegt wird (oder das Ende der Datei ereicht wurde), gibt man den Inhalt des alten Puffers genau dann aus, wenn mindestens eine der Zeilen das Muster enthalten hat.

Die Implementierung dürfte nicht allzu schwierig sein.

/EDIT: Typo

 

[AlArenal]

Ich würds aber über Lucene machen. Ist doch ziemlicher Overkill für jede einzelne Suche erneut mehrere tausend Dateien zu durchsuchen..

 

[Murray]

Ich würds aber über Lucene machen. Ist doch ziemlicher Overkill für jede einzelne Suche erneut mehrere tausend Dateien zu durchsuchen..

Nun ja - man könnte natürlich auch die Installation einer derart mächtigen Software wie Lucene für so eine eher einfache Aufgabe als Overkill bezeichnen - ist sicher eine Frage der Betrachtungsweise...

Natürlich sollte man sich geeignete Caching-Strategien überlegen, aber das sollte man m.E. erst dann tun, wenn a) das gProgramm grundsätzlich funktioniert , b) die Antwortzeiten wirklich aus Benutzersicht verbesserungsbedürftig sind und c) die Änderungsfrequenz der Dateien gering genug ist, um genügend Cache-Hits zu bekommen.

 

[bygones]

Ich würds aber über Lucene machen. Ist doch ziemlicher Overkill für jede einzelne Suche erneut mehrere tausend Dateien zu durchsuchen..

Nun ja - man könnte natürlich auch die Installation einer derart mächtigen Software wie Lucene für so eine eher einfache Aufgabe als Overkill bezeichnen - ist sicher eine Frage der Betrachtungsweise...

Natürlich sollte man sich geeignete Caching-Strategien überlegen, aber das sollte man m.E. erst dann tun, wenn a) das gProgramm grundsätzlich funktioniert , b) die Antwortzeiten wirklich aus Benutzersicht verbesserungsbedürftig sind und c) die Änderungsfrequenz der Dateien gering genug ist, um genügend Cache-Hits zu bekommen.

naja - zum ersten punkt:

das ist die Frage der Aufgabe. So wie es beschrieben wurde soll dies öfters geschehen und jedes mal zig tausend dateien öffnen auslesen und wieder schließen, ohne sinnvolles Cache oder sonstigem System dahinter ist unsinnig imho

zu dem anderen: nein - ich schreibe bestimmt nicht ein irgendwie funktionierendes programm, um dann zu sehen dass es auch besser geht. Man sollte sich vorher schon die richtigen Strategien überlegen und somit gleich das korrekte system zu nutzen... alles andere wäre eine immer währende Baustelle

 

[AlArenal]

Zumal man mit Lucene doch ganz andere Möglichkeiten hat das Ganze später auszubauen... Ist selten so, dass man Spezifikationen hat, die in Stein gemeißelt und unumstößlich sind und sich niemals ändern werden. Und wenn es sie doch mal gibt, stellen sie sich meist als Trugschluss heraus.

 

[Murray]

das ist die Frage der Aufgabe. So wie es beschrieben wurde soll dies öfters geschehen und jedes mal zig tausend dateien öffnen auslesen und wieder schließen, ohne sinnvolles Cache oder sonstigem System dahinter ist unsinnig imho

Wie oft das geschehen soll, und ob die gleichen Muster wiederholt abgefragt werden sollen, und wie oft sich die Dateien ändern können, ist - mir zumindest - unbekannt; insofern lässt sich vorab einfach nicht sagen, wie ein sinnvolles Caching aussieht.

Ob man hier mit einer "selbstgestrickten" Lösung oder einer fertigen Komponenten besser fährt, hängt von diversen Faktoren ab: verträgt sich die Lizenz der Komponente mit dem Einsatzgebiet, muss die gesamte Lösung revisionssicher sein,....

zu dem anderen: nein - ich schreibe bestimmt nicht ein irgendwie funktionierendes programm, um dann zu sehen dass es auch besser geht. Man sollte sich vorher schon die richtigen Strategien überlegen und somit gleich das korrekte system zu nutzen... alles andere wäre eine immer währende Baustelle

So meine ich das auch nicht - man muss natürlich vorher abschätzen, ob die gewählte Strategie überhaupt zum Ziel führen kann. Allerdings sollte man Optimierungen erst dann machen, wenn der Rest läuft, da die meisten Performance-Optimierungen im Lichte der Programmwartbarkeit eben eher keine Optimierungen darstellen -> " It is easier to optimize correct code than to correct optimized code."


Diese Diskussionen sprengen aber wohl langsam den Rahmen dieses Threads...

 

[chuanito]

Auf Lucene bin ich auf der Suche nach Informationen zu diesem Thema auch gestossen aber
für mich ist es klar ein Overkill.

Ich brauche keine Operatoren..keine Logik bei der Suche etc.

Ein Feld mit 6 numerischen Werten die eingegeben werden. Diese 6 Ziffern sind allesamt Unique und
werden in 90% nie zwei mal gesucht.

Die 5000-6000 dateien zu suchen mag viel Zeit beanspruchen aber das ist kein Problem, da nur max. 10 Leute
von ca. 6000 Usern diese Funktionalität haben werden und auch diese 8-10 Queries am Tag absetzen werden.

 

[mikachu]

"It is easier to optimize correct code than to correct optimized code."

:toll: :applaus:

 

[chuanito]

Eine Klasse zu schreiben, die die Funktion ausführt oder gleich einen ganzen Framework am Hals zu haben und davon 10% zu gebrauchen... :noe:

Bevor ich an die Optimierung gehe, muss ich ja wissen ob ich es überhaupt optimieren "muss".

 

[AlArenal]

Eine Klasse zu schreiben, die die Funktion ausführt oder gleich einen ganzen Framework am Hals zu haben und davon 10% zu gebrauchen... :noe:

So gehts mir jeden Tag, wenn ich in Java code... und es sind vermutlich nichtmal 10%...

 

[chuanito]

nein ich meine...wenn ich Java entwickle und Sachen schreibe, die ich nicht schon geschrieben habe, dann versuche
ich es meistens selber zu schreiben, weil ich etwas dabei lernen will.
Handelt es sich dabei um Sachen, die den Zeitrahmen sprengen würden, dann versuche ich auf vorhandenen Code zurückzugreifen.
In diesem Fall glaube ich allerdings, dass der Aufwand nicht zu gross sein kann. Trotzdem wollte ich eure Meinungen einholen um das Problem bestmöglich anzugehen.

 

[byte]

nein ich meine...wenn ich Java entwickle und Sachen schreibe, die ich nicht schon geschrieben habe, dann versuche ich es meistens selber zu schreiben, weil ich etwas dabei lernen will.

Das ist halt individuell verschieden. Ich persönlich würde z.B. eher Lucene verwenden, wenn es mir dabei um den Lernfaktor gehen würde. Wenn ich aber einfach nur in kürzester Zeit ein Ergebnis haben will, ohne Ansprüche an die Laufzeit zu stellen, dann codet man es halt eben so runter.

Natürlich sollte man sich geeignete Caching-Strategien überlegen, aber das sollte man m.E. erst dann tun, wenn a) das gProgramm grundsätzlich funktioniert , b) die Antwortzeiten wirklich aus Benutzersicht verbesserungsbedürftig sind und c) die Änderungsfrequenz der Dateien gering genug ist, um genügend Cache-Hits zu bekommen.

Sorry aber das ist doch albern. Natürlich musst Du BEVOR Du losprogrammierst überlegen, welche Technologie Du einsetzen willst - also in diesem Fall ob Du es mit purem Java runtercodest oder z.B. Lucene verwendest. Es ist doch total albern, wenn Du es erst runtercodest, damit es überhaupt mal funktioniert und Du dann überlegst, es zu optimieren. Wie sollte denn in diesem Fall eine Optimierung der Laufzeit aussehen? Willst Du Datamining-Strategien selbst implementieren? Viel Spaß...

 

[chuanito]

das ist doch genau das was ich schon in einige Posts zu erklären versuche...

• Ich versuche keine Search Engine zu programmieren...
  Ich will keine Scores für meine Resultate...
  Ich will keine logischen Operatoren bei der Suche...
  Ich will nicht mehrere Suchargumente benutzen..
  Ich will nichts cachen...

Das einzige ist eine simple Suche auf eine Texstelle in einem ASCII-File und danach den Block herausfiltern..
das ist alles...

Aber während der Zeit wo ich hier immer wieder ne Antwort geschrieben habe, habe ich schon eine 80% funktionierende
Lösung entwickelt ;-)

 

[Caffè Latte]

Hi,

mal ne ganz andere Frage: was spricht dagegen eine neuere Java-Version zu installieren?

Caffè Latte

 

[chuanito]

Hi,

mal ne ganz andere Frage: was spricht dagegen eine neuere Java-Version zu installieren?

Caffè Latte

Eine IBM Websphere 5 Umgebung bestehend aus 12 Servern die jeweils Load Balanced sind
und auf der ca. 30 Applikationen laufen und die man nicht ohne weiteres auf 1.4-1.5 migriert.
Die Migration ist in Planung und wird voraussichtlich in 7-8 Monaten abgeschlossen sein.

 

[Murray]

Sorry aber das ist doch albern.

Vielen Dank.

Natürlich musst Du BEVOR Du losprogrammierst überlegen, welche Technologie Du einsetzen willst - also in diesem Fall ob Du es mit purem Java runtercodest oder z.B. Lucene verwendest. Es ist doch total albern, wenn Du es erst runtercodest, damit es überhaupt mal funktioniert und Du dann überlegst, es zu optimieren. Wie sollte denn in diesem Fall eine Optimierung der Laufzeit aussehen? Willst Du Datamining-Strategien selbst implementieren? Viel Spaß...

Wie ich weiter oben schon versucht habe zu erklären: es geht mir nicht darum, erst zu programmieren und das als Optimierung später durch Lucene zu ersetzen - das wäre in der Tat Quatsch. Wenn man sich aber für die Eigenimplementierung entscheidet, dann sollte man eben erst später optimieren

 

[Caffè Latte]

...
Eine IBM Websphere 5 Umgebung bestehend aus 12 Servern die jeweils Load Balanced sind
und auf der ca. 30 Applikationen laufen und die man nicht ohne weiteres auf 1.4-1.5 migriert. ...

Ok, überzeugt ... :roll:

Caffè Latte