Wie am besten Daten auslagern um heap zu schonen

[arctic]

Hi,

ich programmiere einen kleinen Backtester, bei dem ich eine relativ große Textdatei parse, die Daten in verschiedene Objekte einlese und damit arbeite, leider ist diese Methode zu speicherintensiv, so dass sich der java heap prompt meldet, wobei auch keine Erweiterung dessen auf lange Sicht helfen würde..

Die Rohdaten sind alle im ASCIi Format, wobei Zahlenwerte u.ä. dabei sind.

Ein Hauptproblem ist, dass ich die Daten nicht einfach suksessive abarbeiten kann, sondern immer wieder in Berechnungen auf viele Werte mehrfach zurückgreifen muss. Da die Berechnungen relativ rechenintensiv sind muß dieser Zugriff so schnell wie möglich sein um die Laufzeit nicht noch unnötig zu strecken.

Deshalb suche ich jetzt nach der best möglichen Auslagerungsart, vielleicht kann mir ja einer nen guten Rat in die richtige Richtung geben

 

[javimka]

Vielleicht geht es auch, wenn du den Speicher für die JVM einfach erhöhst. Dazu kannst du das Programm folgendermassen starten um 520 MB zu erhalten:

java -Xmx520m programm

 

[arctic]

das hab ich auch schon probiert aber die datensätze sind leider viel zu groß.. ich überlege nun mit einer datenbank zu arbeiten, aber vil. weiß jemand eine einfachere methode..

 

[Landei]

Datenbank klingt doch gut, dafür sind sie da!

Die Frage ist eher, ob deine Daten besser zu realtionalen (SQL) Datenbanken passen, oder zu alternativen Varianten wie z.B. Dokumentenbasierenden oder Key-Value-Datenbanken

 

[arctic]

@Landei
Also es handelt sich um einen Strategietester für den Forex Markt, dabei steht der Zeitpunkt und der Kurs im Mittelpunkt alles andere sind Durchschnitswerte, wie auch andere Indikatordaten d.h. im Prinzip alles nur weitere double werte.. Welche datenbank würdest du für die aufgabe empfehlen.