java beschränkt array

[van]

hallo
habe eine frage:
ich habe aus xml datei daten gelesen und sie in einer zweidimensionalen adjazenzmatrix gespeichert, die ich benötige um zugehörige partner zu finden.
folgendes: ab einer bestimmten größe lässt java keine
boolean[][]
mehr zu(bei mir gehn noch 8000*8000 aber 9000*9000 geht nicht mehr). hab nun gedacht daß 1D-felder größer sein können aber nein
boolean[64000000]
geht nicht!!!(obwohl 8000*8000 geht!).

frage: was kann größer werden 1D oder 2D felder und wie zwinge ich java größere anzulegen??

vielen dank im voraus

 

[Illuvatar]

Folgender Code wird bei mir fehlerfrei kompiliert:

boolean[][] b = new boolean[9000][9000];

Allerdings entsteht beim Ausführen ein
java.lang.OutOfMemoryError.

Dieser kann umgangen erden, wenn man dem Programm erlaubt, mehr Speicher zu benutzen, z.B.:

java -Xmx300m -Xms300m Test

Dafür wird aber viel Arbeitsspeicher benötigt.


Übrigens: die "Array-Indexe" sind ints und können daher theoretisch bis Integer.MAX_VALUE, also 2147483647 gehen.

 

[biker126]

ein boolean wert ist 1byte gross oder? und 10^12 byte sind 1 TerraByte oder?
falls ja, bräuchte ein boolean[2147483647][2147483647] nur schlappe 4.6Mio TerraByte Speicher *ggg*

 

[Illuvatar]

Und das könnte man mit

boolean[][][][] b = new boolean[2147483647][2147483647][2147483647][2147483647];

und so weiter fortführen

 

[bygones]

Was hast du für xml dateien :lol: :wink:

 

[van]

hi leuts
vielen dank für die antworten echt kompetent! das mit der speichererweiterung habe ich nicht gewusst aber es geht; werde nun "halbe" adjacency matrix erstellen, um bedarf zu senken.
meine (momentane) xml-datei ist eine *.mif datenbank die von DIP runtergeladen hab
http://dip.doe-mbi.ucla.edu/
datei kann ich nicht direkt linken, da man sich erst anmelden muß

im ersten teil werden proteine mit annotationen aufgeführt und im zweiten teil wer mit wem interagiert. und dieses will ich in matrix realisieren, um bequem und vielleicht auch iterativ darin zu suchen.

falls es noch einer weiß:
wo steht denn noch mehr von dieser speichererweiterung? (im netz)
und wie kann ich dieses automatisieren?(im code?)

vielen dank
bis denne

 

[bygones]

JUHU !!!!!!! Endlich einer der sich mit Bioinformatik beschäftigt
Na da verzeih ich die großen files !!

Mehr lesen: http://java.sun.com/docs/hotspot/VMOptions.html
automatisieren - meinst du die Speichererweiterung ? Das geht nicht - die Optionen müssen beim intialisieren der VM angegeben werden, danach kann man sie nicht mehr ändern...

Gibt es keine Möglichkeit die Daten tempörar auf der Platte abzulegen.. Verlangsamt das ganze zwar, aber wenn es um einige Hundert MB Speicher geht findet das nicht jeder Rechner gut....

Bau grad nen Graphen aus Proteininteraktionen mit 1.000.000 Knoten und etwa 2.0000.000 Kanten - muss dazu der VM 370MB geben, findet mein Rechner nicht so lustig :wink:

 

[Grizzly]

Wäre es nicht einfacher, die Daten in dem XML-File zu lassen und nur das jeweilige momentan benötigte Element auszulesen? Du könntest Dir dafür ja so eine Art Wrapper-Klasse schreiben, die Dir dann die Werte zurück gibt:

public class Wrapper {
     
     ...
     
     public boolean getValue(int x, int y) {
     
          ... hier wird der Wert aus der XML-Datei geholt, beispielsweise über JDOM, und zurück gegeben ...
     
     }
     
}

Die Datei solltest Du natürlich vorher lokal speichern, wenn Du die aus dem Internet abrufst.

 

[van]

huch auch ein bioinformatiker, na sowas
ehrlich gesagt weiß ich net wie man dtaen temporär auf pladde ablegt. meinst du das array auf festplatte und dann durcharbeiten?
oder mit dem Writer mein array als textfile(o.ä.) ablegen und dieses dann durchforsten?

zweites könnte ich machen(werd ich aber aus zeitgründen noch nicht machen)
und ersteres wüsste ich nicht wie es geht

danke bis denne

 

[Grizzly]

[...]ehrlich gesagt weiß ich net wie man dtaen temporär auf pladde ablegt. meinst du das array auf festplatte und dann durcharbeiten?
oder mit dem Writer mein array als textfile(o.ä.) ablegen und dieses dann durchforsten?[...]

Einfach die XML-Datei auf die Platte schreiben. Und dann diese wieder laden und die Daten je nach Bedarf aus der Datei holen.
Wenn ich ein Datenbanksystem implementieren würde, würde ich auch nicht alle Daten in den Speicher laden. Da ist der "Speicherkolabs" vorprogrammiert :wink: .