Zeilen vergleichen

[noobilicious]

Hallo!

Gibt es in Java eine Möglichkeit, sich die aktuelle Zeile in einem Textdokument zu merken, dann mit dieser etwas zu machen und letztendlich bei der nächsten weiterzumachen?
Mein Problem ist folgendes: ich habe 2 *.txt-Dateien, die ich zeilenweise vergleichen will. Das funktioniert soweit auch, also es wird alles gefunden, was auch gefunden werden sollte. Allerdings werden beide Files unnötig oft durchlaufen und ich weiß nicht wie man das ändern kann.

Text 1 			Text2
Zeile1a			Zeile1b
Zeile2	a			Zeile2b
Zeile3	a			Zeile3b
Zeile4	a			Zeile4b

Der Ablauf soll so sein, dass Zeile1a (aus Text 1) eingelesen und ein spezifisches Element daraus gespeichert wird.
Dann soll Zeile1b aus Text 2 eingelesen, eben falls ein Element als Variable gespeichert werden.
Die beiden werden dann vergleichen, wenn eine Übereinstimmung zutrifft, werden die Zeilen ausgegeben. Das geht auch alles soweit, nur an den weiteren Schritten hapert es.

Im nächsten Schritt sollte Zeile2b eingelesen werden + Variable gespeichert und dann mit 1a verglichen werden, dann 3b und zum Schluss 4b.
Danach soll 2a eingelesen und mit 1b, 2b, 3b und 4b verglichen werden usw, bis Text 1 komplett durchlaufen wurde, sodass ich dann jede Zeile aus Text 1 mit jeder Zeile aus Text 2 verglichen habe.

Nur wie kann ich meinem Java-Programm sagen, dass es nicht immer wieder bei Zeile1 anfangen soll, sondern wenn diese abgearbeitet ist, bei Zeile2 fortfahren soll?
Momentan wird alles erneut von vorne durchlaufen und das ist unnötig. Es funktionert zwar, aber da ich recht viele Zeilen vergleichen will, dauert das natürlich ewig.

Für Hilfe dankbar.

 

[SamHotte]

Sind die Dateien klein genug, um sie beide in bspw. je eine ArrayList einzulesen? Dann könntest Du auf den Listen besser navigieren ...

 

[noobilicious]

Teilweise.
Die größten sind allerdings 300 MB groß, habe gerade versucht, eine davon in eine ArrayList zu speichern und das hat schon kräftig gehakt, sprich der Rechner war für etliche Minuten extrem ausgebremst. (einfach nur mit Bufferedreader jede Zeile eingelesen, in ArrayList gespeichert und dann versucht, jedes Element auszugeben).
Bei einigen könnte das jedoch funktionieren.

 

[SamHotte]

Ein Teil des ausbremsens könnte auf die häufige vergrößerung der ArrayList zurückzuführen sein - wenn Du vorher die Zeilenanzahl schätzt und die Liste gleich groß genug machst, tut sich dann was bei der Geschwindigkeit?

Ansonsten fällt mir noch MergeSort ein, aber Du willst ja nicht sortieren ...

 

[parabool]

Wenn ich das Problem richtig verstanden hab müsste es doch so gehen:

durchlaufe Text1 von Zeile 1 bis n
{

	durchlaufe Text2 von Zeile 1 bis m
	{

	   
		vergleich(text1.zeile , text2.zeile)

	
	}	

}

Das das ganze sehr lange dauern kann ist klar.

Könntest die Texte auch in eine DB einlesen, das spezifische Element (bestimmter Teil einer Zeile?) als
extra Feld (indiziert) in DB anlegen, und dann per SQL die Suche durchführen.

 

[noobilicious]

Wenn ich die Größe der ArrayList vorher festlege, tut sich tatsächlich einiges und es gibt keine krassen Freezes mehr. Wusste ich so auch noch nicht, thx.

Von SQL und DB habe ich keine Ahnung, ich möchte das Ganze mit Java lösen.

Also gibt es in Java so keine Möglichkeit mir eine Zeile zu merken um dann später bei der ihr nachfolgenden fortzufahren? Habe den LineNumberReader gefunden, und dachte es könne damit gehen. Aber da habe ich auch nichts gefunden wie ich dann mit der nächsten Zeile fortfahren kann...

Geht das also nur über ein Schleifenkonstrukt und indem ich beide Dateien komplett durchlaufe und mir dann immer mein Element extrahiere?
Oder ergibt es mehr Sinn, wenn ich meine Elemente einmal komplett aus beiden Texten in ein Array einlese und dann die beiden Arrays verlgeiche?
Was ist aus Programmierersicht (auch in Bezug auf die Zeit und Speicherverbrauch etc) sinnvoller?

 

[vanny]

Hmm, vieleicht ziehst du dir nur die kleinere Datei in eine ArrayList und gleichst dann immer Zeile für Zeile aus der großen Datei mit der ArrayList ab. So hast du eigentlich ein Minimum an Speicherbedarf.

Obs dadurch auch performanter wird weiß ich nicht.

Gruß Vanny

 

[BlackViruZ]

Wenn ich die Größe der ArrayList vorher festlege, tut sich tatsächlich einiges und es gibt keine krassen Freezes mehr. Wusste ich so auch noch nicht, thx.

Von SQL und DB habe ich keine Ahnung, ich möchte das Ganze mit Java lösen.

Also gibt es in Java so keine Möglichkeit mir eine Zeile zu merken um dann später bei der ihr nachfolgenden fortzufahren? Habe den LineNumberReader gefunden, und dachte es könne damit gehen. Aber da habe ich auch nichts gefunden wie ich dann mit der nächsten Zeile fortfahren kann...

Geht das also nur über ein Schleifenkonstrukt und indem ich beide Dateien komplett durchlaufe und mir dann immer mein Element extrahiere?
Oder ergibt es mehr Sinn, wenn ich meine Elemente einmal komplett aus beiden Texten in ein Array einlese und dann die beiden Arrays verlgeiche?
Was ist aus Programmierersicht (auch in Bezug auf die Zeit und Speicherverbrauch etc) sinnvoller?

Alternativ nur die Zeilen welche du dir Merken willst als String in eine List schreiben.

Wenn du dir eine Zeile "Merken" willst, und sie nicht in den speicher einlesen möchtest, um das ganze auf Speicherverbrauch zu Optimieren könntest du statt mit einem FileReader, mit einem Random Access File arbeiten und dir die Positionen des Streams bei den jeweiligen Zeilen in ein Array schreiben.
Das hieße allerdings in dem Context auch, dass mehrfach getrennt hintereinander auf die Festplatte zugegriffen wird, das könnte (vorallem bei Systemen wo die Festplatte gerade eh unter volllast rattert, weil z.b. ein großer kopiervorgang läuft) dann etwas verlangsamen.

Das funktioniert dann aber nur solange, wie die beiden dateien zwischendurch nicht bearbeitet werden (an der Stelle könnte man dann auch mit NIO die Dateien blocken bzw auf änderungen überwachen lassen, oder mit dem alten IO die timestamps vergleichen..)

Ich weiß nicht genau wie du die Dateien vergleichen willst, vielleicht kann man das auch einfacher optimieren.
Vergleichst du sagen wir 1 : N zeilen, also jeweils eine zeile der ersten datein mit vielen zeilen aus der 2ten oder 1 : 1 (eine Zeile in der anderen datei mit genau einer zeile in der anderen datei) oder sogar N : N ?