Java, Speicherverwaltung und optimale Lastverteilung

[vodn7v]

Hallo,
ich hoffe, dass ich hier richtig bin =)

Ich habe eine java.heapSpace problem.

Ich habe eine Anwengung geschrieben, die Daten aus einem Textfile einliest. diese Daten sind Semikolonsepariert und werden zeilenweise eingelesen. bsp:

Line1;datensatzA;datensatzA;datensatzA;datensatzA;datensatzA;datensatzA;datensatzA;datensatzA;datensatzA;
Line2;datensatzB;datensatzB;datensatzB;datensatzB;datensatzB;datensatzB;datensatzB;datensatzB;datensatzB;

So, jetzt kann es vorkommen, dass ich Textdateien habe, die 13.000 Zeilen haben. Jede Zeile hat 10 Datensätze. Jeder Datensatz muss validiert werden. also 130.000 Datensätze zu überprüfen.

Habe meiner Anwendung 1,6Gig Ram zugeweisen. Es funktionier auch super soweit. ich schieben eine Textdatei rein, es wird validiert. alles prima.

Schwierig wird es, wenn es mehrere Textdateien sind. Ich habe dann das gefühl das er den speicher nicht schnell genug leer räumt.

Was kann ich da am besten tun?

Also Datei1(13.000 Zeilen) läuft durch. speicher geht auf 1000mb hoch, Datei2(13.000 Zeilen) läuft durhc, 3, bei der vierten ist er dann bei 1590MB und ich kriege eine HeapSpace Exception.

Habe auch das gefühl, das er zwischen den dateien nicht richtig aufräumt.
Habe dem Garbage Collector sogar schon per System.gc() gesagt er solle aufräumen. aber davon merke ich nichts.
Auch, wenn eine Datei abgearbeitet wurde, und die nächste kommt wird der Speicherverbrauch nicht kleiner.

Hier mein Aufruf meiner Anwendung:

java -classpath bin;libs/log4j.jar;libs/mysql506.jar;libs/smooks-1.1.1.jar;-Xmx1600m -Xms1600m -Xmn1200m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:ParallelGCThreads=20 -XX:SurvivorRatio=8 -XX:TargetSurvivorRatio=90 -XX:MaxTenuringThreshold=31 src.iotc.gdct.RunConsole
pause

Hoffe ihr habt noch nen Tip.

Danke !!

 

[maki]

Habe auch das gefühl, das er zwischen den dateien nicht richtig aufräumt.
Habe dem Garbage Collector sogar schon per System.gc() gesagt er solle aufräumen. aber davon merke ich nichts.
Auch, wenn eine Datei abgearbeitet wurde, und die nächste kommt wird der Speicherverbrauch nicht kleiner.

Lässt du denn den GC den Speicher freigeben in dem du dafür sorgst dass die "Daten" (welche Datenstruktur auch immer du nutzt) nicht mehr referenziert werden?

Der Code wäre interessant.

 

[ARadauer]

zeig mal deinen code, ich denke du hast da irgendwo ein speicher loch...

kannst du nicht, zeile lesen, validieren, schreiben? das wäre auch eine möglichkeit...

 

[vodn7v]

ich kann mal grobe auszüge an code hier veröffentlichen. alles wäre sicherlich zuviel..

bestimmt kann man es von der logik besser aufteilen. ich

tacc = "select Data from tabelle";
while( iter.hasMoreElements() == true )
				{
					tAcc =  (TableAccess) iter.nextElement();
					
					validObj.setSource(tAcc);  // hier werden die Daten an eine Validierungsklasse gegeben

					isValidW = validObj.validate(); // validiert
					if(isValidW == false){
						validReturn = false;
					}
					isModified  = validObj.isMo
} ..

Die Klasse die oben aufgerufen wird:

public boolean validate() {

.....
			for(int i=0;i<recSize;i++){ 
				fem = new FieldErrorMsg();
				CfgValidationRules cfgValid = new CfgValidationRules();
				checkLoad = cfgValid.load(cfg_id[i]);
				validationClassName = cfgValid.getFieldValidationClassName();
				fieldValid = creator.createFieldValidatorByName(validationClassName);
				if(checkLoad){
					fieldValid.initRule(cfgValid);
				}
				fieldValid.setContent(fieldData[i]);
				checkValid = fieldValid.check(); /// --> an dieser stelle wird der datensatz mit entsprechender Validierungsklasse valdidert.
				_logger.debug("content: "+fieldData[i] +" isValid = "+checkValid);


.....

ich denke, dass ist so der wichtigste teil. Also im oberen CodeBeispiel:
daten aus der DB lesen und in das objekt laden. in der schleife die daten setzen für das 2te codebeispiel. in diesem wird der übergebene Datensatz dann mit hilfe von validierungsklassen validiert.


Oder kann man das objekt vllt einfach anders befüllen ? immer 1000 Datensätze, dann validieren, dann die nächsten 1000 datensätze aus der db laden. die dann validieren ??

danke !!