Doppelten Text in Datei finden?

[EOB]

hi, sagen wir mal, ich habe 2 dateien (reiner text). wie könnte man wohl am einfachsten genau die sachen rausbekommen, die doppelt sind? also sowas:

String findDuplicateText(String textFromFile1, String textFromFile2){
     //????
     return duplicateText;
}

ne idee?

danke!!

 

[The_S]

Interessante Frage ...

doppelt = substring mit mindetens x zeichen, der in beiden Texten vorkommt

oder

doppelt = substring mit mindestens x zeichen, der in beiden Texten an der selben Stelle vorkommt

?

 

[EOB]

doppel = text, der in beiden dateien vorkommt, nicht zwingend an der gleichen stelle.

ideen?

 

[The_S]

Was besseres als 2-3 geschachtelte Schleifen, die jedes einzelne Zeichen durchgehen, würde mir jetzt spontan nicht einfallen.

 

[bygones]

als was definierst du text ?
wortweise... satzweise .. .wortstuecke ?

 

[EOB]

zeilenweise, buchstaben und zahlen im mix

 

[The_S]

Zeig ma zwei Beispieltexte und was du dir als Ergebnis wünschst, da gibts sehr viel Interpretationsraum!

 

[SlaterB]

na dann Linien der einen Datei in eine HashMap,
für Linien der anderen Datei in die HashMap schauen,

HashCode für ganze Zeile ist vielleicht etwas aufwendig,
wenn du es optimieren willst dann vielleicht nur die ersten x Buchstaben für den HashCode berücksichtigen

 

[bygones]

zeilenweise, buchstaben und zahlen im mix

also willst du schon ob der Inhalt einer Zeile komplett in der anderen Datei zu finden ist ?

mhm - was hast du schon... also man kann das schon beim einlesen ueberpruefen oder erst dann wenn die Dateien schon komplett eingelesen sind ?

wie auch immer:

wandel es in eine Collection um. also jede zeile ist dann ein eintrag in der Collection und nutze dann retainAll

Collection datei1 = .... // durchs einlesen oder durch split oder was auch immer
Collection datei2 = ... // durchs einlesen oder durch split oder was auch immer

Collection tmp = new Collection(datei1); // tmp collection, falls dir der inhalt von datei1 nicht egal ist und du ihn noch woanders brauchst
tmp.retainAll(datei2);

retainlAll schmeisst alles raus was nicht in der anderen Datei ist, ergo hat tmp dann alle was doppelt ist

 

[bygones]

HashCode für ganze Zeile ist vielleicht etwas aufwendig,
wenn du es optimieren willst dann vielleicht nur die ersten x Buchstaben für den HashCode berücksichtigen

warum fuer eine zeile... sind doch strings ?

 

[SlaterB]

* Returns a hash code for this string. The hash code for a
* <code>String</code> object is computed as
* <blockquote><pre>
* s[0]*31^(n-1) + s[1]*31^(n-2) + ... + s[n-1]

ist für lange Strings vielleicht zu aufwendig,
reicht ja vielleicht auch, nur den HashCode der ersten 10 Zeichen zu betrachten,
oder des 1., 5., 10., 15. Zeichens usw.

31^(n-x) muss man auch nicht tausende Male berechnen usw.,
die üblichen nervigen Optimierungsbemerkungen

 

[bygones]

naja... optimierung heisst meistens, wie in deinem fall heuristik.

dadurch wird man schnell, aber ungenau.

Haus == Haut

beim hashvergleich der ersten 3 buchstaben kein problem... aber untersch. worte

aber ja... uebliche nervige optimierungssachen ;-)