Finalize Block blockiert Programmablauf

[henpara]

Hallo,
ich lese ca 570000 Datensätze ein. Das funktioniert hier auch gut:

public void readAllData() throws IOException {
		int linecount = 0;
		File readfile1 = new File(".\\bin\\data\\C00-C20.txt");
		File readfile2 = new File(".\\bin\\data\\C21-C49.txt");
		File readfile3 = new File(".\\bin\\data\\C50-C64.txt");
		File readfile4 = new File(".\\bin\\data\\C65-C90.txt");
		File readfile5 = new File(".\\bin\\data\\C91-CAll.txt");
		FileReader freader = new FileReader(readfile1);
		BufferedReader breader = new BufferedReader(freader, 65536);
		String readline = breader.readLine();
		Dataset myData = new Dataset();
		while (readline!=null) {
			linecount++;
			if (linecount%10000==0) {
				System.out.println("Wir sind in Zeile: " + linecount);
			}
			//readline = breader.readLine();
			int counter = 0;
			while (readline.contains("\t")) {
				counter++;
				int tab = readline.indexOf("\t".charAt(0));
				while (tab != -1) {
					String sub = readline.substring(0, tab);
					readline = readline.substring(tab+1, readline.length());
					switch(counter) {
					//Hier wird der Datensatz eingelesen
					}
					tab = readline.indexOf("\t".charAt(0));
					counter++;
				}
				myData.setasterix(readline);
				myData.setdatensatznummer(linecount);
				mydata.add(myData);
			}
			readline = breader.readLine();
		}
		
		freader = new FileReader(readfile2);
		breader = new BufferedReader(freader, 65536);
		readline = breader.readLine();
		while (readline!=null) {
			linecount++;
			if (linecount%10000==0) {
				System.out.println("Wir sind in Zeile: " + linecount);
			}
			//readline = breader.readLine();
			int counter = 0;
			while (readline.contains("\t")) {
				counter++;
				int tab = readline.indexOf("\t".charAt(0));
				while (tab != -1) {
					String sub = readline.substring(0, tab);
					readline = readline.substring(tab+1, readline.length());
					switch(counter) {
					//Hier wird der Datensatz eingelesen
					}
					tab = readline.indexOf("\t".charAt(0));
					counter++;
				}
				myData.setasterix(readline);
				myData.setdatensatznummer(linecount);
				myData.setdatensatzid(Long.valueOf(((String.valueOf(myData.getpop_number()) + String.valueOf(myData.getcancer_number()) + String.valueOf(myData.getage_group()) + String.valueOf(myData.getsex() + "10")))));
				mydata.add(myData);
			}
			readline = breader.readLine();
		}
		freader = new FileReader(readfile3);
		breader = new BufferedReader(freader, 65536);
		readline = breader.readLine();
		while (readline!=null) {
			linecount++;
			if (linecount%10000==0) {
				System.out.println("Wir sind in Zeile: " + linecount);
			}
			//readline = breader.readLine();
			int counter = 0;
			while (readline.contains("\t")) {
				counter++;
				int tab = readline.indexOf("\t".charAt(0));
				while (tab != -1) {
					String sub = readline.substring(0, tab);
					readline = readline.substring(tab+1, readline.length());
					switch(counter) {
					//Hier wird der Datensatz eingelesen
					}
					tab = readline.indexOf("\t".charAt(0));
					counter++;
				}
				myData.setasterix(readline);
				myData.setdatensatznummer(linecount);
				myData.setdatensatzid(Long.valueOf((String.valueOf(myData.getpop_number()) + String.valueOf(myData.getcancer_number()) + String.valueOf(myData.getage_group()) + String.valueOf(myData.getsex() + "10"))));
				mydata.add(myData);
			}
			readline = breader.readLine();
		}
		freader = new FileReader(readfile4);
		breader = new BufferedReader(freader, 65536);
		readline = breader.readLine();
		while (readline!=null) {
			linecount++;
			if (linecount%10000==0) {
				System.out.println("Wir sind in Zeile: " + linecount);
			}
			//readline = breader.readLine();
			int counter = 0;
			while (readline.contains("\t")) {
				counter++;
				int tab = readline.indexOf("\t".charAt(0));
				while (tab != -1) {
					String sub = readline.substring(0, tab);
					readline = readline.substring(tab+1, readline.length());
					switch(counter) {
					//Hier wird der Datensatz eingelesen
					}
					tab = readline.indexOf("\t".charAt(0));
					counter++;
				}
				myData.setasterix(readline);
				myData.setdatensatznummer(linecount);
				myData.setdatensatzid(Long.valueOf((String.valueOf(myData.getpop_number()) + String.valueOf(myData.getcancer_number()) + String.valueOf(myData.getage_group()) + String.valueOf(myData.getsex() + "10"))));
				mydata.add(myData);
			}
			readline = breader.readLine();
		}
		freader = new FileReader(readfile5);
		breader = new BufferedReader(freader, 65536);
		readline = breader.readLine();
		while (readline!=null) {
			linecount++;
			if (linecount%10000==0) {
				System.out.println("Wir sind in Zeile: " + linecount);
			}
			//readline = breader.readLine();
			int counter = 0;
			while (readline.contains("\t")) {
				counter++;
				int tab = readline.indexOf("\t".charAt(0));
				while (tab != -1) {
					String sub = readline.substring(0, tab);
					readline = readline.substring(tab+1, readline.length());
					switch(counter) {
					//Hier wird der Datensatz eingelesen.
					}
					tab = readline.indexOf("\t".charAt(0));
					counter++;
				}
				myData.setasterix(readline);
				myData.setdatensatznummer(linecount);
				myData.setdatensatzid(Long.valueOf((String.valueOf(myData.getpop_number()) + String.valueOf(myData.getcancer_number()) + String.valueOf(myData.getage_group()) + String.valueOf(myData.getsex() + "10"))));
				mydata.add(myData);
			}
			readline = breader.readLine();
		}
		System.out.println("Wir sind in Zeile: " + linecount);
		breader.close();
		freader.close();
		System.out.println("Reader geschlossen, Daten eingelesen");
		
	}

Das funktioniert soweit auch!
Allerdings geht er danach im Codetext nicht mehr weiter, sonder bleibt in einem Finalize hängen. (Ist mir erst beim Debuggen aufgefallen)

    private void runFinalizer() {
	synchronized (this) {
	    if (hasBeenFinalized()) return;
	    remove();
	}
	try {
	    Object finalizee = this.get();
	    if (finalizee != null && !(finalizee instanceof java.lang.Enum)) {
		invokeFinalizeMethod(finalizee);
		/* Clear stack slot containing this variable, to decrease
		   the chances of false retention with a conservative GC */
		finalizee = null;
	    }
	} catch (Throwable x) { }
	super.clear();
    }

und der Teil hier

public void run() {
	    for (;;) {
		try {
		    Finalizer f = (Finalizer)queue.remove();
		    f.runFinalizer();
		} catch (InterruptedException x) {
		    continue;
		}
	    }
	}
    }

Jemand ne idee?

mfG henpara

 

[SlaterB]

streiche alle Zeilen zu finalize?

am oberen Code fällt auf, dass du da 4x den gleichen langen komplizierten Block drinstehen hast, Untermethode?

 

[henpara]

am oberen Code fällt auf, dass du da 4x den gleichen langen komplizierten Block drinstehen hast, Untermethode?

jo hab ich auch schon überlegt, bisher noch zu faul dafür gewesen.

Zum Finalize, der code-teil is ja nicht von mir, sondern aus der Finalise.class, die er beim debuggen aus welchem Grund auch immer ansteuert.

Ich verstehe eh nicht, was es da zu finalizen gibt - daher auch keine Idee, wie ich das umgehen kann.

 

[tfa]

Möglicherweise ein Speicherleck. Code aufräumen könnte da schon helfen...

 

[SlaterB]

oh, nicht so gut gesehen von mir
weißt du denn welche Codezeile als letztes von deinem Code drankommt, passiert es quasi am Ende der Methode?
wirklich was zu sagen habe ich dazu aber wohl leider nicht

edit:
ach, allgemeine Testkommentare:
taucht das Problem reproduzierbar immer auf?
verschwindet das Problem oder geht es schneller wenn du weniger Dateien einliest/ kürzere Dateien/ die Daten nicht selber irgendwo speicherst sondern nur einfach so durchiterierst?

 

[henpara]

Ja, beim debuggen ist re reproduzierbar, allerdings beim normalen Aufrufen von "run" unter eclipse läuft das Programm weiter, als im Debug-Modus. (allerdings nach der Methode passiert auch nichts mehr, bzw. wird kein befehl mehr ausgeführt).

Weniger Daten werd ich auf jeden Fall noch probieren, updates dann aber wohl erst morgen, ich mach gleich Feierabend

mfG

edit
werd dann noch n bischen mit den breakpoints rumspielen um das problem weiter eingrenzen zu können.

 

[ARadauer]

jo hab ich auch schon überlegt, bisher noch zu faul dafür gewesen.

Echt? Und dass traust du dir in einem Forum zu schreiben?
Wenn du zu faul bist und eine Methode 5 mal kopierst.. bin ich zu faul mir deine 160 Zeilen Code durchzulesen... 40 wären ok gewesen ;-)

Also räum erstmla auf, veilleicht siehst du dann selber den Fehler, wenn nicht poste die methode nochmal..

 

[henpara]

hab jetzt nochmal etwas tiefer gegraben und umgebaut, und den finalize-fehler so beheben können. Es lag wohl am DB-Driver.

Aber schon nagt das nächste Problem, und zwar ein Iterator-Problem:

private ArrayList<String> doIt (ArrayList<Dataset> input) {
		ArrayList<String> myStmts = new ArrayList<String>();
		Iterator<Dataset> it = input.iterator();
		Dataset data;
		String stmttodb = "";
		int count = 0;
		while (it.hasNext()){
			count++;
			data = it.next(); //hier
			stmttodb += createStatmts(data) + ", " +  System.getProperty("line.separator");
			if (count % 1000 ==0) {
				myStmts.add(stmttodb);
				stmttodb = "";
				System.out.println(count + "Statements vorbereitet");
			}
		}
		myStmts.add(stmttodb);
		return myStmts;
	}

bei //hier ist das Problem und zwar nimmt er von der ArrayList input IMMER nur das letzte Element. also it.next() lieftert immer das gleiche Element zurück, nämlich das letzte aus der ArrayList.

Ich habe keine Ahnung warum, in jeder Info zu Iteratoren sieht man solche while-Schleifen, wie ich sie eingebaut habe.

Jemand eine Idee?

mfG

 

[SlaterB]

es ist nicht immer das letzte, jedenfalls nicht direkt, du bekommst schon genau das Objekt an der richtige Stelle,
nur hast du an jeder Position exakt DASSELBE Objekt stehen

mal eine Zeile mit genialen Variablennamen aus dem ersten Posting zitiert:
> mydata.add(myData);
myData wird nur einmal vor der Schleife erstellt, danach in jedem Schleifendurchlauf geadded und geändert,
durch das Einfügen in die Liste wird nicht per Zauberhand eine Kopie erstellt

gleiches Problem gerade:
http://www.java-forum.org/java-basics-anfaenger-themen/110917-problem-arraylist.html

----

da du jetzt in jedem Fall diesen Einlese-Block ändern musst, wäre es genial, diesen nur einmal im Programm zu haben,
sonst musst du jede Änderung bzw. den korrigierten Block insgesamt 4x kopieren, wehe das wird vergessen..

 

[henpara]

joa, werd mich dran machen, danke für die Hilfe.

Der Fehler kam übrigens daher, daß oftmals gesagt wurde "new xy" würde die Performance drücken, daher hab ich gedacht: Vermeidest du am besten 500000 Objekte anzulegen...

Daß dadurch das ganze nicht mehr klappt, wird mir gerade siedendheiß klar

Also danke!

mydata.add(myData);

ja das mit den Variablennamen ist noch so ein Problem, da bin ich für Tipps offen.
Bin selber unzufrieden mit meinen Benennungen aber noch zu beschränkt solide Lösungen zu finden :/

edit: ok, werd das mal ändern und noch @aradauer: wo ist das Problem wenn man ehrlich ist? Natürlich gucke ich auch lieber auf einen übersichtlicheren code (is übrigens mittlerweile geändert) aber manchmal hat man eben noch andere Prioritäten.

 

[SlaterB]

ein Anfang wäre schon
> myDataList.add(myData);
besser, oder was immer mydata bisher war,

derselbe Name nur mit unterschiedlichen Groß/Kleinbuchstaben, das geht ja gar nicht

 

[KSG9|sebastian]

Oh juhu, wieder ne Diskussion ob Objekte erzeugen teuer ist oder nicht

Für die Zukunft:

Programmier das ganze einfach runter - so das es funktioniert. Gewisse Variablen dann durch eine Map/Cache/Factory u.s.w. zu ersetzen kannst du dann immer noch tun, aber für's erste sollte der Code tun, optimieren kannste dann immer noch.

 

[maki]

Vermeidest du am besten 500000 Objekte anzulegen...

Dann vermeidest du am besten OOP Sprachen

Oder du hörst auf, deine Zeit mit sinnlosen, vorzeitigen "Optimierungen" zu verschwenden

 

[henpara]

jaja ist ja gut :shock: ich habs ja kapiert ueh:

Passiert das ganze eigentlich auch, wenn ich mit String arbeite?
Also

ArrayList<String> al
String input = "";
while (irgendwas) {
input = jedesmalwasanderes;
al.add(input)
}

oder bekomm ich die gewünschte Liste mit wirklich verschiedenen Strings?

mfG

 

[maki]

Keine Ahnung ob ich deine Frage verstanden habe, aber Strings sind immutable, d.h. unveränderbar, jede Änderung erzeugt einen neuen String, vermeidet u.a. Aliasing Probleme.

Nochmals: In OOP Sprachen ist es vollkommen und absolut normal Objekte zu haben, wenn man welche braucht, erzeugt man welche

 

[SlaterB]

in OOP liest man aber auch nicht ständig 570000 Datensätze ein, also schon erlaubt drüber nachzudenken

edit:
den Unterschied zwischen Objekt und String sieht man schon am Code:

> stringVaraible = jedesmalwasanderes;
ein (wahrscheinlich neuer) String wird zugewiesen

> myObject.set(jedesmalwasanderes);
myObject bleibt dasselbe, das String-Attribut intern wird dagegen wiederum jedesmal geändert