Große Datei in MySQL importieren

fatfox

Bekanntes Mitglied
Hallo Leute,

ich habe ein Problem mit Große Daten importieren.

My Java Programm liefert mir eine große Datenmenge als Ergebnis. Ich habe sie gespeichert als CSV Datei. Sie ist c.a. 4 GB groß.

Ich möchte jetzt die Daten im MySQL eine Tabelle importieren mit hilfe von Phpmyadmin.

Meine Frage sind:

1. Phpmyadmin erlaubt nur 2 MB Datei zu importieren. Wo kann ich die Einstellung ändern? Ist es überhaupt möglich mit Phpmyadmin?

2. Oder wäre es besser und schneller, wenn ich die Datei direkt von meinem Java Program in MySQL Tabelle hinzufügen ( dann braucht man ja den csv datei nicht mehr)?

Vielen Dank für eure Hilfe
 
G

Gast2

Gast
Wenn du eh schon über ein externes Tool importieren willst mach es doch direct mit den mysql Kommadozeilenwerkzeugen?

Wenn du die möglichkeit hast das direkt "online" mit dem Programm machst das die Daten produziert wäre das natürlich besser. Dann sparst du dir den import Schritt.
 
M

maki

Gast
1. k.A.
2. MySQl kann auch direkt CSV Dateien importieren, siehe die Doku. Kannst es natürlich aus mit einem Javaprogramm machen.
 

fatfox

Bekanntes Mitglied
Hallo fassy and maki,

was ich jetzt von meinem Java buch gelernt habe, ist wie folgendes:

Statement stmt;
stmt.executeUpdate("INSERT INTO xxx VALUES (...)");

Also für jeder Zeile muss ich ein mal "stmt.executeUpdate(...)" durchführen. Aber ich habe 150 millionen Zeilen, wird es nicht zu langsam?
 
G

Gast2

Gast
Dann würde ich eher ein PreparedStatement verwenden oder da es eine MySQL ist ein Bulk-Insert mit 5000* Blöcken oder so etwas.

Mit PreparedStatment:
Java:
    PreparedStatement ps = connection.prepareStatement ("INSERT INTO tabelle TABLENAME(spalte1, spalte2) VALUES (?, ?)";
    while (...) {
          ps.setString (1, "...");
          ps.setString (2, "...");
          ps.addBatch ();
    }
    ps.executeBatch ();

Mit Bulk-Insert:
SQL:
INSERT INTO x (a,b)
VALUES 
 ('1', 'one'),
 ('2', 'two'),
 ('3', 'three'),
 ...

* Größe variable zu den Rahmenbedingungen wie der Verbindung zum Server, RAM Auslastung etc.
 

fastjack

Top Contributor
Wenn es wirklich eine große Datei ist, würde ich das immer mit Boardmitteln machen. Das geht immer schneller und vor allem auch ohne Sorgen ;)
 

z-mon

Bekanntes Mitglied
Wenn du zum Beispiel Zugriff über SSH hast genügt auch

SQL:
source /ich/bin/ein/SQL/File.sql

Voraussetzung ist natürlich das du dich über
SQL:
mysql -u <user> -p

eingeloggt hast.

Grüße
 
Ähnliche Java Themen
  Titel Forum Antworten Datum
M Problem: Große Datei in MySQL DB importieren. Datenbankprogrammierung 12
T 3 GB Große CSV Datei einlesen und in SQL-DB schreiben Datenbankprogrammierung 12
R Große Datensätze, kleine Rechte Datenbankprogrammierung 8
Joew0815 Datenmerge große Tabelle Datenbankprogrammierung 16
E MySQL Große Datenmengen reibungslos speichern für Gameserver Datenbankprogrammierung 6
L Große Datenbanken - Designproblem Datenbankprogrammierung 3
P Embedded Database und große Datenmengen Datenbankprogrammierung 23
A Große Datenmengen mit JPA 2.x verarbeiten Datenbankprogrammierung 13
A Große Objekte mit JPA und Hibernate Datenbankprogrammierung 3
S Zugriff auf eine große Datenmenge von MS Access per JDBC Datenbankprogrammierung 11
F JAVA und große Datenabfragen Datenbankprogrammierung 7
R hsqldb: performance, große tabellen und so Datenbankprogrammierung 10
rambozola große anzahl an inserts bei oracle db unperformant Datenbankprogrammierung 15
T Große Datenmenge bei DB- Abfrage Datenbankprogrammierung 5
M Datenbank Zugraff nach Umwandlung in .jar-Datei nicht mehr möglich Datenbankprogrammierung 4
D H2 schema-Datei ausführen Datenbankprogrammierung 22
L Oracle SQL Inserts via Client vs SQL Datei via ScriptRunner Datenbankprogrammierung 6
J JAR-Datei und Datenbank Datenbankprogrammierung 8
S Verbindung von einer Excel Datei zu Java Datenbankprogrammierung 2
J Jar-Datei stellt keine Datenbankverbindung her Datenbankprogrammierung 3
L CSV Datei mit DB Inhalt vergleichen Datenbankprogrammierung 20
F Auslesen einer .dbf-Datei, Zuordnung Index Datenbankprogrammierung 0
T Datei auf Desktop ausgeben Datenbankprogrammierung 22
W Daten aus einer Datei von einem VServer auslesen Datenbankprogrammierung 1
M HSQLDB .Script-Datei entfernen oder sperren Datenbankprogrammierung 18
M MySQL JSON-Datei auf Datenbank anwenden Datenbankprogrammierung 17
V SQLite Performance: 1 Datei mit einzelnen Einträgen gegenüber SQLite Datenbankprogrammierung 7
M Verbindung von Java Programm zur Acccess Datenbank (mdb-Datei) Datenbankprogrammierung 0
J SQL Datei einlesen/beschreiben Datenbankprogrammierung 0
F JPA persistence.xml mit EXTERNER Config Datei Datenbankprogrammierung 0
C VDF Datei als Datenbank genutzt!!! Datenbankprogrammierung 5
L SQL2SMO JAR-Datei zum Laufen bringen Datenbankprogrammierung 0
Androbin [Serializing] Mehrere Objekte in einer einzigen Datei speichern Datenbankprogrammierung 1
P Derby/JavaDB Csv Datei für dieses Musterprogramm Datenbankprogrammierung 12
D [xBaseJ] Datei kann nicht geöffnet werden Datenbankprogrammierung 2
L Werte in Datei speichern Datenbankprogrammierung 16
D Datenbank oder XML Datei Datenbankprogrammierung 3
M HSQLDB oder DERBY - warum SCRIPT Datei? Datenbankprogrammierung 0
S SQL-Abfrage, Filewriter .txt Datei Datenbankprogrammierung 2
T Datei import und Datumsformat Datenbankprogrammierung 4
D Derby Datenbank bei Export zu JAR-Datei nicht möglich Datenbankprogrammierung 8
K SQLite CSV-Datei einlesen in eine Datenbank Datenbankprogrammierung 7
E csv datei in JTable einlesen Datenbankprogrammierung 3
E Datei Zippen und an DB schicken Datenbankprogrammierung 7
N Oracle txt. Datei auslesen-> verändern-> einlesen Datenbankprogrammierung 7
I Zugriff auf Datenbank nach Erstellen einer Executable Jar Datei verweigert Datenbankprogrammierung 10
D MySQl Treiber in .jar Datei einbinden, Bukkit Datenbankprogrammierung 2
M Datenbank-Datei Datenbankprogrammierung 10
bluerob MimeMessage .getFrom()[0]; liest eml-Datei nicht Datenbankprogrammierung 7
achillesat ausgelesene Datei in Datenbank schreiben Datenbankprogrammierung 9
O MySQL sql Datei einzelner Tabellen erzeugen (über Java Programm) Datenbankprogrammierung 6
H Derby SQL-Abfragen in Datei abspeichern Datenbankprogrammierung 2
S passwortgeschützte Excel-Datei einlesen Datenbankprogrammierung 3
S Schnellste Methode Datei aus Datenbank herstellen Datenbankprogrammierung 7
C XLS Datei aus Datenbank erstellen Datenbankprogrammierung 14
H Datenbank in Datei speichern / laden Datenbankprogrammierung 8
M FindBugs und PreparedStatement aus einer Datei lesen Datenbankprogrammierung 11
H CSV Datei in MSSQL DB oder doch SQL Script Datenbankprogrammierung 11
N Problem mit dem Importieren der csv- u. txt-Datei Datenbankprogrammierung 3
Dragonfire Daten aus jsp Datei in datenbank speichern Datenbankprogrammierung 15
M Tabelle in Access Datei mit JDBC generieren Datenbankprogrammierung 3
N csv datei erstellen Datenbankprogrammierung 2
S BLOB in Datei speichern Datenbankprogrammierung 8
S projektplanung mit csv datei Datenbankprogrammierung 2
M Gelöst: JavaDB - Derby Inhalt in Jar Datei speichern Datenbankprogrammierung 5
K jar Datei startet nicht aufgrund Firebird(?) Datenbankprogrammierung 3
D Access Datenbank in .jar-Datei Datenbankprogrammierung 51
H Wie kann ich eine Datenbank Connection aus XML-Datei lesen! Datenbankprogrammierung 2
M H2 DAtenbank in .sql datei schreiben/abfragen ? Datenbankprogrammierung 3
A Auslesen von Werten aus der DB in eine csv-Datei Datenbankprogrammierung 4
T Wie kann ich Blobs (Bilder) in einer Datei speichern? Datenbankprogrammierung 2
A Auslesen aus einer csv-Datei Datenbankprogrammierung 2
A Einlesen einer csv-Datei in eine H2-Datenbank Datenbankprogrammierung 3
A Probleme beim Schreiben in eine CSV-Datei aus einer H2-DB Datenbankprogrammierung 2
G Import einer csv-Datei in eine H2-Database Datenbankprogrammierung 12
N csv datei in PostgreSQL datenbank einlesen Datenbankprogrammierung 1
M Mit Java .txt-Datei in eine Datenbank einlesen lassen Datenbankprogrammierung 33
ARadauer datenbank in datei sichern Datenbankprogrammierung 4
B HSQLDB und die log-Datei Datenbankprogrammierung 10
S [Hibernate] Map in Map - Wie sieht Mapping Datei aus? Datenbankprogrammierung 10
F Probleme mit Jar Datei Datenbankprogrammierung 3
T Datei (Blob) mit verknüpfter Software öffnen? Datenbankprogrammierung 4
P ODBC verbindung Java soll auf access mdb datei zugreifen Datenbankprogrammierung 2
S SQLite oder RDBMS als Datei(nicht Client/Server) Datenbankprogrammierung 5
G .jar - Datei erzeugen (Was beachten?) Datenbankprogrammierung 2
R Mit JAR-Datei ist MySQL-Treiber nicht auffindbar Datenbankprogrammierung 10
Y Problem mit Ablage einer Datei in einer Datenbank als BLOB Datenbankprogrammierung 6
Juelin Java und MySQL MariaDB - WHERE-Klausel Datenbankprogrammierung 17
W MySQL-Connector funktioniert nicht über WLAN -> MacOS Datenbankprogrammierung 10
Juelin MySQL Datenbankmit glassfish und Netbeans Datenbankprogrammierung 18
Auf MySql Datenbank zugreifen funktioniert nicht Datenbankprogrammierung 8
TheSkyRider MySQL Datenbankzuordnung in Verbindung mit Java Datenbankprogrammierung 7
Warum funktioniert MySQL nicht Datenbankprogrammierung 8
M MySQL Datenbank in Array Datenbankprogrammierung 2
P MySQL- Neues Passwort Datenbankprogrammierung 1
btwX28 mysql abfrage über phpmyadmin Datenbankprogrammierung 8
sserio SQL oder MySQL Datenbankprogrammierung 44
OnDemand Mysql Query Builder Datenbankprogrammierung 1
Z MySQL "Too many connections" auch nach schliessen der Connections. Datenbankprogrammierung 10
yakazuqi MySQL MySQL Connection reset Datenbankprogrammierung 7

Ähnliche Java Themen


Oben