Heapspace out of Memory

[Eddie Irvine]

Hallo,

ich habe ein Programm geschrieben, das Heise-Newsmeldungen aus einer DB einliest und in Vektoren umwandelt.

Bei knapp 9.000 Dokumenten funktioniert das auch noch (aber nur mittels -Xmx1024m).

Wenn ich ca. 17.000 Meldungen einlesen will, bekomme ich immer den oben beschriebenen Fehler. Kann ich das irgendwie umgehen? Ich brauch die gebildeten Vektoren zum anschließenden Clustering (d. h. Gruppieren) der Dokumente.
Deswegen kann ich die Vektoren auch nicht in der Datenbank speichern, denn dann wäre das Programm viel zu langsam.

Was kann ich tun?

 

[Beni]

Die Dokumente vereinfacht darstellen, z.B. nur die ersten 1000 Worte? Füllwörter (und, oder, der, die...) rausschneiden? Oder vielleicht nicht als Text speichern, nur als Map "7 mal kam Wort X vor".

 

[Eddie Irvine]

Danke für die Antwort.

Stoppwort-Reduktion und Stemming führe ich schon durch.

Meine Vektoren (pro Dokument ein Vektor) werden mittels HashMap realisiert und haben im Allgemeinen nur ca. 35 Einträge.
Dabei ist der Term der Schlüssel und als Wert wird das Gewicht des Terms im jeweiligen Dokument gespeichert.

Das ist die gängige Vorgehensweise.
In der Richtung ist also schon alles soweit wie möglich optimiert (denke ich zumindest)... ;-)

 

[Eddie Irvine]

Hallo,

weiß niemand eine Möglichkeit, wie ich das Problem beheben kann, ohne dass ich die entsprechenden Daten in die Datenbank schreibe?

DANKE.

 

[bygones]

klingt ganz nach TextMining... ich bezweifle, dass hier einer die ultimative Lösung anbieten kann, dafür ist das Problem zu komplex und eines der momentan heißesten Forschungsgebiete

 

[Eddie Irvine]

Ja, ist gerade auch mein Forschungsgebiet in meiner Diplomarbeit

Ich will ja nicht wissen, wie ich die Vektoren noch weiter komprimieren kann, sondern nur, ob hier der Arbeitsspeicher die Grenze darstellt.
Dann geb ich halt einfach eine Obergrenze an und gut ist.

 

[meez]

Dann geb ich halt einfach eine Obergrenze an und gut ist.

Wo ist dann das Problem :bahnhof:

 

[Eddie Irvine]

Ganz einfach: Ohne Beschränkung wär's mir lieber...

 

[Illuvatar]

Naja, das ist eben physikalisch beschränkt... selbst wenn du jeden Vektor auf von mir aus 100 Byte komprimieren könntest, und einen Arbeitsspeicher von 8 gig hättest, hättest du immer noch eine Beschränkung, von 85 899 345 Vektoren