Probleme mit ArrayList

[Nighthawk]

Hallo,
mit dem folgenden Code erstelle ich eine Arraylist:

public static ArrayList<String[]> ArraytoArraylist(String File) throws IOException{
String[] mqlline 	= null;
ArrayList<String[]> lines = new ArrayList<String[]>();

lines.clear();

BufferedReader br = new BufferedReader(new InputStreamReader(new FileInputStream(File) ) ); 
	String zeile="";
	while ((zeile=br.readLine()) !=null) {
		mqlline = zeile.split("\\|") ;
		lines.add(mqlline);
	}
br.close();
mqlline = null;
zeile=null;

return lines;
}

Hierbei wird eine Textdatei zeilenweise eingelesen und jedes element der Zeile in ein neues Element der Arraylist abgelegt.

Das Problem ist, bei großen Dateien (ca 10 - 20 MB) wird mir folgende Fehlermeldung ausgegeben:

Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
	at java.lang.String.substring(String.java:1940)
	at java.lang.String.subSequence(String.java:1973)
	at java.util.regex.Pattern.split(Pattern.java:999)
	at java.lang.String.split(String.java:2293)
	at java.lang.String.split(String.java:2335)
	at GuiSauber.ArraytoArraylist(GuiSauber.java:1371)
	at GuiSauber.jButton4MouseClicked(GuiSauber.java:809)
	at GuiSauber$11.mouseClicked(GuiSauber.java:553)
	at java.awt.AWTEventMulticaster.mouseClicked(AWTEventMulticaster.java:253)
	at java.awt.Component.processMouseEvent(Component.java:6041)
	at javax.swing.JComponent.processMouseEvent(JComponent.java:3260)
	at java.awt.Component.processEvent(Component.java:5803)
	at java.awt.Container.processEvent(Container.java:2058)
	at java.awt.Component.dispatchEventImpl(Component.java:4410)
	at java.awt.Container.dispatchEventImpl(Container.java:2116)
	at java.awt.Component.dispatchEvent(Component.java:4240)
	at java.awt.LightweightDispatcher.retargetMouseEvent(Container.java:4322)
	at java.awt.LightweightDispatcher.processMouseEvent(Container.java:3995)
	at java.awt.LightweightDispatcher.dispatchEvent(Container.java:3916)
	at java.awt.Container.dispatchEventImpl(Container.java:2102)
	at java.awt.Window.dispatchEventImpl(Window.java:2429)
	at java.awt.Component.dispatchEvent(Component.java:4240)
	at java.awt.EventQueue.dispatchEvent(EventQueue.java:599)
	at java.awt.EventDispatchThread.pumpOneEventForFilters(EventDispatchThread.java:273)
	at java.awt.EventDispatchThread.pumpEventsForFilter(EventDispatchThread.java:183)
	at java.awt.EventDispatchThread.pumpEventsForHierarchy(EventDispatchThread.java:173)
	at java.awt.EventDispatchThread.pumpEvents(EventDispatchThread.java:168)
	at java.awt.EventDispatchThread.pumpEvents(EventDispatchThread.java:160)
	at java.awt.EventDispatchThread.run(EventDispatchThread.java:121)

Ich hoffe jemand kann mir helfen und mich auf meine Fehler hinweisen.


PS. ich muss dazu erwähnen dass ich ein Anfänger bin.


Gruß Alex

 

[The_S]

Also, zuerst einmal ist es so, dass deine VM Standardmäßig 64MB Arbeitsspeicher zugesichert sind, wird dieser Wert überschritten fliegt so eine Fehlermeldung wie du sie hast.

Um deine ArrayList ein bisschen zu "tunen" kannst du ihr einen Initialisierungswert mitgeben, wenn du ungefähr die max. Größe deiner Array-List abschätzen kannst.

Ansosnten musst du wohl oder übel den Speicher deiner VM erhöhen!

 

[Nighthawk]

Gibt es da eine Anleitung für die Erhöhung des Speichers für die VM??

Was in meinen Augen sehr seltsam ist, lese ich dieselbe Datei in ein normales Array, nur eben komplette Zeilen, dann läuft es durch, nur dauert es ewig (ca 4 Min.).

Gruß Alex

 

[Nighthawk]

PS. was das abschätzen angeht, ich kann ja die Textdateigroesse auslesen mit File.length() , könnte das irgendwie helfen??

 

[The_S]

In einem Array gibst du ja die Größe fest an, von daher wird der Speicher von vornherein reserviert.

joa, mit file.length bekommst du die Größe in byte. Inwiefern dir das bei der Schätzung hilft, kann ich aber nicht sagen, da ich nicht weiß wie deine Dateien typischerweiße aufgebaut sind.

Auch du darfst die Forensuche/Google verwenden, da findest du jedemenge beispiele, wie du den VM-Speicher erhöhst :roll: !

http://www.java-forum.org/de/viewtopic.php?t=50051&highlight=speicher+erh%F6hen

 

[Nighthawk]

Danke, aber alle Anleitungen die ich bis jetzt gefunden habe, beziehen sich auf bestimmte .jar Files.
Ich bräuchte da eine globale einstellung, da ich noch in der Entwicklung des Programms bin und nicht jedes mal eine jar erzeugen möchte nur um mal zu testen.

Gruß Alex

 

[SlaterB]

zum Speicher:
http://www.java-forum.org/de/viewtopic.php?t=50051

> lese ich dieselbe Datei in ein normales Array, nur eben komplette Zeilen, dann läuft es durch, nur dauert es ewig (ca 4 Min.).

was meinst du da mit Array? eine ganze Zeile kannst du doch nur in die ArrayList einfügen,
oder kennst du die Anzahl der Zeilen vorher?, dann wäre das Abschätzen-Thema erledigt..

dauert es nun weniger als 4 Min.?
kann ja nicht sein, dass das Programm langsamer wird, wenn du nur das split weglässt

irgendwas anderes musst du da noch gemacht haben,
z.B. die Strings in jedem Schritt zu einem großen String zusammenzufügen ist sehr langsam

 

[Nighthawk]

So lese ich die Textdatei in ein Array ein:

//Textdatei in Array einlesen...	
public String[] txtzustring(String filename){
    String[] Ar=new String[0];
    try{
    	BufferedReader br = new BufferedReader(new InputStreamReader(new FileInputStream( filename ) ) );       
    		String zeile="";
    			while ((zeile=br.readLine()) !=null) {
    				String[] temp=Ar;
    				Ar=new String[temp.length+1];
    				for(int i=0;i<temp.length;i++){
    					Ar[i]=temp[i];
    				}
    				Ar[Ar.length-1]=zeile;
    			}
    	}
    	catch(IOException e){
    		System.out.println("fehler");
    }
return Ar;
}

 

[The_S]

und? Hast du noch irgendwelche Fragen?

Variablen werden klein geschrieben!

 

[SlaterB]

ok, bei jeder Zeile ein großes Array anzulegen und tausende Referenzen zu kopieren ist wirklich langsam ,
das kannst du dir doch denken,

mach das nur alle 100 Zeilen oder wie die ArrayList:
die hat ja intern auch nur ein Array, Anfangsgröße z.B. 16,
dann 32, 64, 128 usw.,
durch Verdopplung muss nur 20x kopiert werden bevor der Speicher eh voll ist

aber egal, nun benutzt du ja eh die ArrayList, da ist dieses Teil-Thema erledigt