Mehrere 100.000 Elemente verlgeichen

[Allrounder93]

Hey,

ich hab da mal nen Performanzproblem...

Ich habe eine zwei "List<List<List<String>>>"-Listen. Dabei stellt das

• erste Element die Gruppen,
• zweite Element die Files,
• dreitte Element die Parameter

Ich möchte nun die Parameter vergleichen und da leigt das Problem, da ich insgesamt mehrere 10.000 Parameter zu vergleichen habe :bahnhof:

Was gibt es dafür tricks um dies Performanztechnisch schnell zu löschen? :rtfm:

Danke für die Hilfe

Gruß Chris

 

[Tobse]

Auf was willst du denn vergleichen?

Aber mir stellt sich da erstmal ne andere Frage: kann es Sinnvoll sein, so viele Daten in den RAM zu laden? Das müssen ja mehrere 100MB sein...

 

[dcc]

Effektiver sind Maps / HashMaps die nach Index arbeiten.

String Gruppen -> Liste<String>, String Parameter

In der Liste sind dann die Dateien der Gruppe und der Parameter wäre nur ein String.
Dann musst nur noch nach der Gruppe suchen und kannst direkt auf die werte zugreifen.
getKey() und getValue() sind dann deine Freunde

Ist wie eine Tabelle. Die Laufzeit wäre dann im worst case O(n), also linear und maximal so lang wie es Gruppen hat.

 

[Allrounder93]

@Tobse

Gibt eine andere Performatelösung? Ich kenne jetzt keiner auser ab in dem RAM^^

@all
Ich habe das ganze etwas frisiert =/ Also ich habe nun ein zwei Listen mit dem Typ double[3] die ich vergleichen möchte…

[0](118.33504368485193) Suchkriterium: <119, 118, 117>
[1](122.34547988703757) Suchkriterium: <123, 122, 121>
[2](127.36100162243625) Suchkriterium: <128, 1127, 126>

Gedankengang dabei wäre, jeden Wert auf Duplikate prüfen mit jeweils den Werten +1 / -1 z.B. siehe <>-Klammer…
Falls es ein Trick gibt aus drei Werten einen Wert zu machen mit der Toleranz von +1 / -1… Könnte man ein exists() auf eine Liste / Array anwenden und somit die Duplikate finden…

 

[Allrounder93]

Tja was ein leckeres Abendessen so bringt :applaus:

Wie wäre es mit

|| File1 [0]+[1]+[2] - File2 [0]+[1]+[2] || <= 1 then Duplikat...

[0](118.33504368485193) Suchkriterium: <119, 118, 117>
[1](122.34547988703757) Suchkriterium: <123, 122, 121>
[2](127.36100162243625) Suchkriterium: <128, 1127, 126>

Jetzt wäre noch die Frage offen, wie ich [0]+[1]+[2] addiere... Da 1 + 2 + 3 = 6 ist jedoch nicht das leiche wie 3 + 2 + 1 = 6

 

[Tobse]

Du kannst die Daten ja auch als Vektoren Darstellen, wenn ich das richtig verstehe.

 

[Allrounder93]

Gute Idee!

Kennst du ein Tutorial dazu?

 

[Tobse]

Die Grundlagen der Vektorrechnung halt, Google wird was interessantes zu bieten haben (z.B. das hier: https://www.youtube.com/watch?v=jzOa-6AU0z4).

Ich kenne jetzt wie gesagt die Bedeutung dieser Zahlen nicht. Aber wenn es darum geht, dass die Reihenfolge der Werte eine Rolle spielt müssten folgende Begriffe für dich nützlich sein: Skalarprodukt, Vektorprudukt, Winkel zwischen Vektoren

 

[Allrounder93]

Naja irgendwie bringt mich das jedoch nicht weiter...

Also mein Daten bestand sieht bisher so aus:

Datenbestand A ca. 10.000 Datensätze
A<144><201><011>
B<122><134><211>
C<255><024><148>
D<173><191><109>
E<062><101><199>

Datenbestand A ca. 429.000 Datensätze
A<002><034><011>
B<222><014><021>
C<123><133><210>*
D<177><004><102>
E<201><098><077>
F<174><192><109>*
G<144><202><012>*
H<155><111><089>
I<002><088><110>
J<062><101><199>*
K<255><024><148>*

Ergebnis:
B =~ C
A =~ G
E = J
C = K
D =~ F

Nun suche ich eigentlich einen guten Suchalguritmus...

War am überlegen die ein Produkt aller Zeilen zubilden und diesen zu prüfen... jedoch hätte ich somit mehrere tauschende Multi, Sub und vergleichsabfragen... und das dauert...

Eine andere Überlegung die ich hatte, ist es das Produkt in eine Liste zu kopieren und dann darauf ein equals() auszuführen...

Jedoch finde ich, dass das ganze keine gute Lösung ist...

Gibt es eine Funktion um aus Listen eine Schnittmenge zu gewinnen? Also erst alle Elemente[0] der ersten Liste mit der zweiten Liste zu kreuzen... Dann das Elemente[1] und Elemente[2] somit könnte man zwei Listen mit allen doppelten Datensätze erhalten und darauf nun einzelne Elemente der ersten Liste auf die gesamte zweite Liste anwenden...
Jedoch fällt mir dazu ein, dass ich zu den jeweiligen Listeneinträge eine assoziation zu der ursprünglichen brauche um meinen Quelledatensatz wieder zu finden =/

Also ergibt sich folgende Frage:
* Schnittmenge von Listen?
* Assoziationen zwischen zwei Listen?