Java heap space

[itzigk]

Hallo,

ich arbeite an einem Program zur Textanalyse. Nach mehrmaligen bearbeiten eines Textes taucht eine Java heap Space Exception auf. Es gab davor schon einige die ich beseitigen konnte jedoch bin ich nun fraglos.

	private void analyse() {
		jTextPane.selectAll();
		if(!isClear){
			protectTheHeapSpace.clear();
		}
		
		StringBuffer buff = new StringBuffer(jTextPane.getText());
		// Wegfiltern von Zeichen, sodass nur Buchstaben vorhanden sind.
		for (int i = 0; i < buff.length(); i++) {
			if (!Character.isLetter(buff.charAt(i))) {
				buff.replace(i, i + 1, " ");
			}
		}
		
		// Wörter in die Array Zellen kopieren
		String [] tempArray = buff.toString().split(" ");
		
		// Leerzeichen eliminieren
		for (int j= 0; j< tempArray.length;j++){
			tempArray[j]= tempArray[j].trim();
		}
		
		// den Vecotor füllen
		protectTheHeapSpace.setSize(tempArray.length);
		for (int k = 0; k< tempArray.length; k++) {
			protectTheHeapSpace.setElementAt(tempArray[k], k);
		}
		
		
		int tempArrayLength = tempArray.length;
		
		// Vectoren ohne "Wörter" löschen
		for (int k = 0; k< tempArrayLength; k++) {
			if(protectTheHeapSpace.elementAt(k).toString().isEmpty()){
				protectTheHeapSpace.removeElementAt(k);
				tempArrayLength--;
				k--;
			}
		}

Hier nur ein Auszug aus dem Quelltext, da dieser etwas lang ist :rtfm:.

Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
	at java.util.regex.Pattern.split(Unknown Source)
	at java.lang.String.split(Unknown Source)
	at java.lang.String.split(Unknown Source)
	at Gui.analyse(Gui.java:274)
	at Gui.access$0(Gui.java:259)
	at Gui$4.actionPerformed(Gui.java:223)
	at javax.swing.AbstractButton.fireActionPerformed(Unknown Source)
	at javax.swing.AbstractButton$Handler.actionPerformed(Unknown Source)
	at javax.swing.DefaultButtonModel.fireActionPerformed(Unknown Source)
	at javax.swing.DefaultButtonModel.setPressed(Unknown Source)
	at javax.swing.plaf.basic.BasicButtonListener.mouseReleased(Unknown Source)
	at java.awt.Component.processMouseEvent(Unknown Source)
	at javax.swing.JComponent.processMouseEvent(Unknown Source)
	at java.awt.Component.processEvent(Unknown Source)
	at java.awt.Container.processEvent(Unknown Source)
	at java.awt.Component.dispatchEventImpl(Unknown Source)
	at java.awt.Container.dispatchEventImpl(Unknown Source)
	at java.awt.Component.dispatchEvent(Unknown Source)
	at java.awt.LightweightDispatcher.retargetMouseEvent(Unknown Source)
	at java.awt.LightweightDispatcher.processMouseEvent(Unknown Source)
	at java.awt.LightweightDispatcher.dispatchEvent(Unknown Source)
	at java.awt.Container.dispatchEventImpl(Unknown Source)
	at java.awt.Window.dispatchEventImpl(Unknown Source)
	at java.awt.Component.dispatchEvent(Unknown Source)
	at java.awt.EventQueue.dispatchEvent(Unknown Source)
	at java.awt.EventDispatchThread.pumpOneEventForFilters(Unknown Source)
	at java.awt.EventDispatchThread.pumpEventsForFilter(Unknown Source)
	at java.awt.EventDispatchThread.pumpEventsForHierarchy(Unknown Source)
	at java.awt.EventDispatchThread.pumpEvents(Unknown Source)
	at java.awt.EventDispatchThread.pumpEvents(Unknown Source)
	at java.awt.EventDispatchThread.run(Unknown Source)

Die Exception tritt bei "String [] tempArray = buff.toString().split(" ");" auf, meist nachdem der 3te Text eingelesen wurde bzw. die 3te Analyse durchgeführt wurde.

Ich hoffe jemand hat Ideen oder kann mir helfen. :reflect:

mfg

 

[André Uhres]

Sowas wie das hier:
String [] tempArray = buff.toString().split(" ")
scheint mir sehr speicherverschwenderisch zu sein.
Mit toString und split wird alles wieder kopiert.
Versuch mal, deinen Algoritmus zu vereinfachen und speicherintensive Zwischenschritte zu vermeiden.

 

[Marco13]

Hmja, es ist jetzt nicht klar, was genau dort gemacht wird. Interessant wäre auch, wie groß so ein Text sein kann. Theoretisch könnte man ja mit
java -Xmx1000m DasProgramm
den Heapspace auf 1GB setzen, aber wenn der Text in einer TextPan steht, kann ich mir eigentlich nicht vorstellen, dass er soooo groß ist... ???:L
Ansonsten hat André Uhres aber (zumindest vermutlich teilweise) Recht: Das sieht nach einigen überflüssigen Operationen aus. Es muß nicht nur damit zusammenhängen, dass dort Strings kopiert werden, sondern ggf. auch damit, dass RegEx i.a. SEHR aufwändig sein können, und für so einfache Operationen IMHO alles andere als geeignet sind.

Für diesen Fall sieht es so aus, als wolltest du einfach nur alle durch " " Leerzeichen getrennten Wörter (die nicht nur aus whitespaces bestehen) in einem Vector haben.

Dazu erstmal vorneweg: Statt eines Vectors solltest du eine List verwenden. Das KANN auch ein Vector sein - es geht nur darum, dass du NICHT die Methoden "getElementAt", "setElementAt" usw. verwenden solltest, sondern "get" und "set" aus dem List-Interface. Also

private Vector protectTheHeapSpace = new Vector();

private void analyse()
{
    ...
    protectTheHeapSpace.setElementAt(i, "...");
    ...
    String s = protectTheHeapSpace.getElementAt(i).toString();
}

ändern in

private List<String> protectTheHeapSpace = new Vector<String>();

private void analyse()
{
    ...
    protectTheHeapSpace.set(i, "...");
    ...
    String s = protectTheHeapSpace.get(i);
}

Dann zum eigentlichen Algorithmus: Es scheint, als würde dafür schon sowas reichen wie (pseudocode) :

boolean inWord = false;
for (int i=0; i<inputString.length(); i++)
{
    StringBuffer word = null;
    if (Character.isLetter(inputString.charAt(i))) 
    {
        if (!inWord) // Neues Wort fägt an
        {
            word = new StringBuffer()
            inWord = true;
        }
        word.append(inputString.charAt(i));
    }
    else
    {
        if (inWord) // Wort zuende - speichere es
        {
            protectTheHeapSpace.add(word.toString());
            word = null;
            inWord = false;
        }
    }
}

.... so in der Art.

 

[itzigk]

Hallo,

danke für die antworten, habe jetzt schon einiges umgeschrieben und es läuft besser.

Interessant wäre auch, wie groß so ein Text sein kann.

Der sollte eigentlich unbegrenzt sein aber das ist unmöglich. Zur Zeit arbeite ich mit 1,7 Millionen Zeichen. Also einem Text mit ungefähr 290.000 Wörtern.

Ich habe auch feststellen müssen, dass ein TextPane viel zu Speicherintensiv arbeitet bei 1,7 Mio Zeichen benötigt das Programm 100 MB Speicher. Bei einer TextArea sinkt der Wert auf 50 MB.

Für diesen Fall sieht es so aus, als wolltest du einfach nur alle durch " " Leerzeichen getrennten Wörter (die nicht nur aus whitespaces bestehen) in einem Vector haben.

Ja, so im groben stimmt das. Ich muss leider auch alle Zeichen entfernen um eine Buchstabenzählung als auch ein Bigramm- und Trigrammanalyse zu machen. Weshalb ich geprüft habe ob dort "wirklich" ein Buchstabe ist. Aber du hast recht das ist alles noch etwas zu kompliziert gemacht.

Danke für eure Tips ich werde versuchen sie einzubauen :rtfm: und testen ob ich mich der 5 mio grenze nähern kann .

Mfg