Zeichenketten-Liste filtern

[Jay1980]

Servus,

ich habe eine Liste von Zeichenketten, diese sollen gefiltert werden. Die Größe der Eingangsliste ist bekannt und die Anzahl der Ausgangszeichenketten auch. Die Methoden sind schon ausprogrammiert, aber das Ergebnis stimmt nicht - ich beiß mir schon seit Tagen die Zähne aus und habe mich nun entschlossen einen Fachmann einen Blick da rein werfen zu lassen. Im Code stehen die Erläuterungen. Danke vorab fürs Feedback. Falls mir da jemand beim Entwickeln als eine Art Tutor zur Seite stehen will, dann bitte vorher Bescheid geben, damit Ablauf und Aufwandsentschädigung geklärt werden können. Ziel ist also in keinem Fall, dass mir einer eine funktionierende Lösung liefert, sondern, dass ich kapiere, was da schief läuft und dies dann anpasse.

Hier ist die Datei - es ist nur eine: http://www.jochen-bauer.net/downloads/joba-filter-12022011.txt

 

[XHelp]

Mach dir Debugausgaben rein und schaue Schritt für Schritt nach, wie es abläuft.
Oder beschreib hier, was du überhaupt haben willst.
Es lohnt sich aber definitiv nachzulesen, wie man eine Textdatei in Java einließt und die ganzen Daten in eine Datei auszulagern.

 

[JohannisderKaeufer]

Debuggen ist schön und gut. Ich finde aber das diese Aufgabe sich hervorragend für ein TestDrivenDevelopment eignet.

Ich gehe mal davon aus, das das Ergebnis für eine gegebene Aufgabenstellung bekannt ist.
Wenn auch nur für das kleine Auskommentierte Beispiel. Darauf Aufbauend ein paar Testsfälle mit JUnit schreiben und regelmäßig ausführen.

Damit das ganze Anwendbar wird, sollte die Logik die in der main-Methode steckt in eigene Methoden gepackt werden, damit man zum Beispiel eine Methode analyze(List<String> input) bekommt die als Ergebnis eine Liste von Strings zurückliefert. Am besten sogar für jeden eingesetzten Filter eigene Methoden und entsprechende Tests.

Wenn die Struktur deines Programmes erstmal paßt,
entsprechende Testfälle vorhanden sind,
dann kannst du deine Tests laufen lassen und
bekommst schnell die Information,
wo die Probleme entstehen
ohne Mühsam und manuell jedes mal auf Debug-Ausgaben zurückgreifen zu müssen.

Wenn ich dir genauer erklären soll, wie ich diese Aufgabe angehen würde, kannst du dich gerne nochmals melden.

 

[Jay1980]

Danke, ich weiß was Test Driven Development ist, in der Tat es existieren in der 'richtigen' Anwendung auch schon Tests und auch viele Debugmeldungen, im richtigen Programm kann man die Dateien auch einlesen.

Da ich aber der Sache nicht auf die Schliche komme, habe ich gedacht ist es klug, das Problem voll zu isolieren und so verfügbar zu machen, dass ein jeder das in seiner IDE der Wahl einpflegen und losschicken kann.

Die kleinen Testfälle laufen schon, aber der Sprung zum nächsten muss noch gemeistert werden. Ich habe nur selbst ausgedachte Zeichenkettenbündel und einige 'richtige', von denen das gezeigte aber das kleinste ist. Für mich ist der nächste Schritt klar, ich muss den ersten Filter so einbauen, dass ich das richtige Ergebnis habe. In der aktuellen Version ist alles noch etwas übersichtlicher:
http://www.jochen-bauer.net/downloads/joba-filter-13022011.txt

Es ist auch sicher der erste Filter. Der reißt mir zuviel raus. Die Vergleichsfunktion ist richtig implementiert (liefert auch oft Werte zwischen 20 und 90 Prozent Ähnlichkeit). Es liegt am Ablaufen (bis jetzt zwei for-Schleifen für den Vergleich einer jeden mit jeder Sequenz und wenn eine Sequenz muckt, soll diese Vergleichssequenz aus der Liste rausfallen - leider fallen halt viel zu viele raus.

Mir gehen echt die Ideen aus. Andere redeten irgendwas von Clusteranalyse, aber derjenige der bereits implementiert hatte, meinte: Jede Sequenz als Basissequenz mit jeder anderen als Vergleichssequenz vergleichen, Ähnlichkeit ermitteln und bei Unstimmigkeit die Vergleichssequenz rausschmeißen.

Danke vorab.

 

[Paeddah]

Hi!

Du hast einen Denkfehler:

Die Anforderung war ja, jedes Element einmal mit jedem anderen Element zu vergleichen.

Du vergleichst aber jedes Element mit jedem Element - also auch sich selbst -.

        for ( String seq1 : msa )
        {
            // Nimm erste Sequenz als Basis
            for ( String seq2: msa )
            {

Was du möchstest ist jedoch das Folgende:

for ( int outerIndex = 0; outerIndex < msa.size(); outerIndex++)
        {
            for ( int innerIndex = outerIndex+1; innerIndex < msa.size(); innerIndex++ )
            {
                String seq1 = msa.get(outerIndex);
                String seq2 = msa.get(innerIndex);

Führe ich dein Programm mit dieser Schleife aus, so habe ich nach dem ersten Schritt noch 191 Elemente in der Liste.

Ich hoffe, dass hilft dir schon mal weiter.

Grüße

Päddah

 

[Jay1980]

Sehr guter Hinweis danke, bringt mich bestimmt in die richtige Richtung. Dazu kommt natürlich noch, dass bei jedem Vergleich mit sich selbst, ein Grund für den Rausschmiss gefunden ist. Im anderen Programm habe ich schon einen Ausbruch für identische Sequenzen geschrieben aber dass ich nicht immer von 0 beim Durchlaufen des inner-Index starten muss und auch nicht sollte, daran dachte ich so nicht.

 

[Jay1980]

Bin weiter gekommen und habe nun die Methoden so umgestellt, dass diese testbar sind:
http://www.jochen-bauer.net/downloads/joba-filter-15022011.txt

Aktuell habe ich 160 Sequenzen im Set. Ebenso habe ich die erwartete Lösung eingestellt (msaExp). Schick ich dieses durch den Filter, dann ist zumindest das Verhalten korrekt, dass alle Sequenzen drin bleiben. Jetzt muss ich mal etwas mit dem Tool 'diff' rumspielen, um genau die Sequenzen ausfindig zu machen die in der Musterlösung sind, aber nicht in meiner Liste. Für weitere Tipps bin ich natürlich dankbar.

Ich habe nicht JUnit genommen, sondern eine Methode runTests() die die anderen Testmethoden ausführt. Klar, da gibts viel Redundanz aber ich denke für den Problem-Isolationsgedanken ist dies so besser. Außerdem kann jemand der sich nicht mit Unittests auskennt diesen Weg so auch direkt nutzen.