Große Datenmengen per JDBC

Status
Nicht offen für weitere Antworten.
G

Guest

Gast
Hallo !
Ich habe in einer Tabelle ca. 800.000 Datensätze beim auslesen.
Ich bekomme eine "java.lang.OutOfMemoryError: Java heap space", wegen der vielen datensätze.

Wie kann ich das am sinnvollsten umbauen?
 

FArt

Top Contributor
Lies nur einen Teil der Daten ein bzw. lies sie häppchenweise oder gib der VM mehr Speicher.
 

didjitalist

Bekanntes Mitglied
arbeite jede zeile einzeln ab. eine zeile lesen, modifizieren, und gleich wieder schreiben. kannst das problemlos mit zwei cursoren regeln. mit dem einen fetched du durch dein result set, mit dem anderen setzt du immer nur die bindings neu und schreibst den krempel zurück. DB last identisch, speicherverbrauch minimal.
 
Status
Nicht offen für weitere Antworten.
Ähnliche Java Themen
  Titel Forum Antworten Datum
F Große Datenmengen effizient programmieren Allgemeine Java-Themen 51
R Dateigestützte Collection für große Datenmengen Allgemeine Java-Themen 5
B Welcher Datentyp für sehr große Zahlenbereiche? Allgemeine Java-Themen 1
N Das große O berechnen Allgemeine Java-Themen 2
F Best Practice Große Anzahl an Objekten speichern und lesen Allgemeine Java-Themen 19
R Große Zahlen in Worten abkürzen Allgemeine Java-Themen 10
K Große JSON-Dateien schnell und effizient verarbeiten Allgemeine Java-Themen 16
K Große Mengen an Daten speichern Allgemeine Java-Themen 9
VfL_Freak Große und seltsame Probleme nach Java-Update auf V1.8.0_91 Allgemeine Java-Themen 3
E Best Practice Verdammt große Objekte Allgemeine Java-Themen 10
P Große Datenstruktur im Speicher halten Allgemeine Java-Themen 13
M Einfluss von Caching auf die Performance (große Arrays) Allgemeine Java-Themen 24
U Große Liste von Strings mit indiziertem Zugriff Allgemeine Java-Themen 31
P Datentypen Große Datenmenge Sortiert halten Allgemeine Java-Themen 12
D große Textdatei filtern Allgemeine Java-Themen 13
M Große Datei mit Regex durchsuchen Allgemeine Java-Themen 4
R POI große Exceldatei schreiben Allgemeine Java-Themen 7
K Scanner - große Textfile, nur 0 ab betim. Wert Allgemeine Java-Themen 4
trash Das große Problem: .jar Archiv Allgemeine Java-Themen 19
J Große Datei einlesen und gestückelt verarbeiten Allgemeine Java-Themen 4
I Große Datei am effektivsten/performantesten auslesen und auswerten? Allgemeine Java-Themen 6
S große CSV-Dateien Importieren. Beste Lösung ?! AWS,S3,Hadoop!? Allgemeine Java-Themen 4
P große double Zahlen und modulo Allgemeine Java-Themen 8
O Große Anzahl Bilder laden Allgemeine Java-Themen 7
A Mit RegEx große Dokumente erfassen Allgemeine Java-Themen 14
X Wie verdammt große Datein öffnen? Allgemeine Java-Themen 2
P Große Datenmenge wie speichern (HashMap? TreeMap?) Allgemeine Java-Themen 11
G Große XML-Dateien einlesen und auswerten . Allgemeine Java-Themen 2
P Performance: Ziehen ohne Zurücklegen (große Datenmenge) Allgemeine Java-Themen 10
I JNI - Große Daten übertragen Allgemeine Java-Themen 6
T Große Dateibestände löschen - Speicherproblem Allgemeine Java-Themen 20
S Große ArrayListen Allgemeine Java-Themen 8
S große Datei einlesen! Allgemeine Java-Themen 7
J Große Zahl (double) as text ausgeben? Allgemeine Java-Themen 2
S Kleines Eclipse Problem, große Wirkung Allgemeine Java-Themen 7
H Referenzen statt Objekte für große Speicherstrukturen Allgemeine Java-Themen 19
K Große Herausforderung Allgemeine Java-Themen 2
F Zu große Werte beim byteweisen Lesen mit BufferedReader.read Allgemeine Java-Themen 5
D Große Klasse - was fällt euch so ins Auge? Kritik bitte! Allgemeine Java-Themen 10
M Große Dateien laden Allgemeine Java-Themen 2
F Große Dateien schnell einlesen Allgemeine Java-Themen 14
B Gemeinsamkeiten großer Datenmengen Allgemeine Java-Themen 4
S Performante Visualisierung groẞer Datenmengen (ohne JFreeChart) Allgemeine Java-Themen 22
Fu3L Input/Output Brauche Rat bei effizienter Speicherung großer Datenmengen Allgemeine Java-Themen 21
S Datenbank Abfragen mit großen Datenmengen Allgemeine Java-Themen 22
A Großes Problem mit dem Lesen großer Datenmengen Allgemeine Java-Themen 16
Kirby.exe JDBC Connector von Maven Repo importieren Allgemeine Java-Themen 1
O Zugriff auf mySQL ohne JDBC Allgemeine Java-Themen 3
V Maven Maven ClassNotFoundException MySQL JDBC Treiber Allgemeine Java-Themen 1
M JDBC DATE 0000-00-00 kann nicht ausgegeben werden Allgemeine Java-Themen 3
I Performance - JDBC UPC PoolDataSoure Allgemeine Java-Themen 0
K Classpath JDBC Driver auf Server Allgemeine Java-Themen 4
F Alternative sun.jdbc.odbc.JdbcOdbcDriver (Access Datenbank) Allgemeine Java-Themen 2
A Classpath programm findet jdbc nicht Allgemeine Java-Themen 4
D JDBC Allgemeine Java-Themen 8
M Junit und Mocks bei JDBC Daos Allgemeine Java-Themen 8
M jdbc treiber (h2) mit eigenem ClassLoader laden Allgemeine Java-Themen 4
G JDBC Programm und niedrige Java-Versionen Allgemeine Java-Themen 14
G Text aus Zwischenablage in JTextarea -> JDBC Error Allgemeine Java-Themen 3
H Sekunden messen wie lange h.ibernate/jdbc abfragen brauchen Allgemeine Java-Themen 7
T JDBC: Unterschiede in Interfaces zwischen 2 Java-Versionen. Allgemeine Java-Themen 6
L JDBC Erklärung zu einer Java Anwendung Allgemeine Java-Themen 2
märliprinz com.sap.dbtech.jdbc.exceptions.JDBCDriverException Allgemeine Java-Themen 2
C ClassLoader - dymisches Laden von JDBC Drivers Allgemeine Java-Themen 3
V gezielte Datenbankeinträge über JDBC schnittstelle Allgemeine Java-Themen 10
M JDBC Class not found Allgemeine Java-Themen 2
Fredy JDBC: character Werte aus Tabellenspalten holen?? Allgemeine Java-Themen 2

Ähnliche Java Themen

Neue Themen


Oben