Oracle Resultset to Array sehr langsam.

[Times]

Hallo,

für meine Anwendung stehen 3 verschiedene Datenbanktypen zur Verfügung. MySQL, MSSQL & Oracle. Für diverse Zwecke, um zB die Daten in einer Tabelle darstellen zu lassen oder in einer Combobox mit mehreren Spalten, muss ich das Resultset in ein 2D Array umwandeln.
Soweit so gut.
Da einige Stammdatentabellen schon einen größeren Umfang erreichen können habe ich zu Testzwecken eine Testtabelle in allen 3 Datenbanken erstellt mit jeweils 15.000 Einträgen.

In einem Test wandle ich nun das Resultset über 3 Spalten der Tabelle in ein 2D-Array um, um diese in einer ComboBox darstellen zu lassen (Um der Realität näher zu kommen selektiere ich aber nur 5.000 der 15.000 gesamten Datensätze).
Die 3 verschiedenen SQL - Server laufen auf VM Maschinen mit derselben Hardware, selbes Betriebssystem, keine andere Software!

Hier die Ausgaben der Zeitmessungen für die Umwandlungen in das Array:

ORACLE: select sysid, suchkuerzel, name from adresse where status = 1 and istdivsatz is false and istspediteur is true; >> 5000 rows with 3 columns: 2194ms

MSSQL: select sysid, suchkuerzel, name from adresse where status = 1 and istdivsatz is false and istkunde is true; >> 5000 rows with 3 columns: 284ms

MYSQL: select sysid, suchkuerzel, name from adresse where status = 1 and istdivsatz is false and istrechempf is true; >> 5000 rows with 3 columns: 12ms

Das ganze habe ich mehrmals durchlaufen lassen und kam immer wieder auf so ziemlich selbe Zeiten. MSSQL ist ein wenig langsamer aber vollkommen aktzeptabel.

Warum ist ORACLE so langsam? Ich habe mich bereits über die FetchSize erkundigt, welche man mittels setFetchSize setzen kann, aber wenn ich diesen auf 5000 setze, dauert es nochmals viel viel länger, bei einer Fetchsize von 100-1000 sinkt die Zeit auf mindestens 1500 ms, also immernoch ein wesentlicher Unterschied zu MYSQL / MSSQL und meines Erachtens noch viel zu langsam.

Die Tabellen sind in allen 3 Datenbanken gleich aufgebaut:
PrimaryKey auf sysid, Indizes auf diversen Spalten wie auch auf jene die dort gefiltert werden.

Danke

 

[Thallius]

So ganz kann ich Dir noch nicht folgen.

Was passiert denn, wenn du die queries in einer Shell mit mysql direkt absetzt? Ist es dann auch so langsam?

 

[Flown]

Zeig doch mal deinen ganzen Code her. Die Zeiten sind so unrealistisch. Millionen Zeilen brauchen normal Sekunden, nicht ein paar Tausend.

 

[Times]

Hey, bin nun gerade zuhause, hab den Code nicht zur Hand. Poste ihn morgen dann

Also unter den diversen Studios (MSSQL Management Studio, MYSQL Workbench & ORACLE Sql Developer) geht es schnell wie eh und je!

 

[togal]

Wie setzt Du die Queries ab? Ist das original SQL?
Das was Du als SQL Statement angibst geht m.E. für Oracle nicht, da es kein Boolean Typ hat.

 

[Times]

Wie setzt Du die Queries ab? Ist das original SQL?
Das was Du als SQL Statement angibst geht m.E. für Oracle nicht, da es kein Boolean Typ hat.

Okay das SQL Statement habe ich nur hier für das Forum ein wenig verändert gehabt, es sind auch keine boolean/bit-Felder mehr in den jeweiligen Datenbanken

Entschuldigt die lange Wartezeit.

1) Abgesetzt wird der SQL-String (Select) über das SQL-Statement direkt, also nicht über das PreparedStatement. Habe es aber auch über das PreparedStatement probiert, ob es einen Boosts geben könnte, dem war allerdings bei keinem der 3 Datenbanken so.

private void init() {
        Statement statement;
        try {
            if (this.rsSet != null) {
                this.rsSet.close();
            }

            statement = this.db.getConnection().createStatement(ResultSet.TYPE_SCROLL_SENSITIVE, ResultSet.CONCUR_READ_ONLY);

            statement.setFetchSize(this.db.getFetchSize());
            this.rsSet = statement.executeQuery(this.originalSQL);
            amountResultSetsOpen++;

            this.rsMeta = this.rsSet.getMetaData();

            this.dbMeta = this.db.getConnection().getMetaData();

            this.columnCount = this.rsMeta.getColumnCount();

            this.mode = Mode.READ;
        } catch (SQLException ex) {
            ILog.append("Can't execute sql statement", this.originalSQL, LogGrp.DATABASE, ex);
        }
    }

>> "statement.setFetchSize(this.db.getFetchSize())": Setzt die FetchSize, welche ich schon vorab mal erwähnt hatte auf einen höheren Wert bei Oracle, da dieser wohl im Standardfall auf 15 steht und es somit nochmals einiges länger brauch. Bei mir steht es nun auf 150 unter ORACLE und bei MYSQL sowie MSSQL auf 0 (Default).

2) Hier der Code um aus dem Resultset das Array zu bilden

long time = System.currentTimeMillis();

        try {
            int countCol = this.rsMeta.getColumnCount();
            int countRow = this.size();
 
            Object[][] result = new Object[countRow][countCol];

            this.rsSet.beforeFirst();
            for (int row = 0; row < countRow; row++) {
                this.rsSet.next();
                for (int col = 0; col < countCol; col++) {
                    result[row][col] = this.rsSet.getObject(col + 1);
                }
            }
          
            ILog.append("Recordset: getData: " + this.originalSQL, (System.currentTimeMillis() - time) + " ms fuer " + countRow + " Saetze mit " + countCol + " Spalten!", ILog.PRIO_DEBUG, LogGrp.DATABASE);
           
            return result;
        } catch (SQLException ex) {
            return new Object[0][0];
        }

>> "this.size()" iteriert vorab uber das Resultset um direkt eine feste Groesse fur das Array festzulegen. Dann muss ich keine Liste verwenden und diese hinterher zum Array umwandeln.
Das geht aber selber ganz schnell, also das rsset.next() macht demnach keinerlei Probleme, aber das "this.rsSet.getObject(col + 1);"!!

Falls ihr noch mehr wünscht, schreibt es mir!

 

[Thallius]

Jetzt hast du immer noch nicht darauf geantwortet wie lange der query dauert wenn du ihn direkt absetzt. Du hast doch bestimmt ein DB Tool wie Navicat oder so. Was passiert wenn du da den query machst? Wie lange dauert das?

 

[Times]

Entschuldige.

Oracle SQL Developer: 5.000 Zeilen in 3,06 Sekunden (Okay.. also dauert da auch schon sehr lange).
MySQL Workbench: 5.000 Zeilen in 0,02 Sekunden.
SQL Management Studio (MSSQL): 5.000 Zeilen in 0,64 Sekunden.

Also die Durchschnittswerte liegen in etwa bei:
ORACLE: 3 Sekunden
MYSQL: 0 Sekunden
MSSQL: 0,5 Sekunden

Okay, das hätte ich wohl schonmal früher machen sollen, denn das spiegelt in etwa dem wieder was ich auch in Java sehe.

 

[Thallius]

Dann kannst du es in Java auch nicht lösen. Da muss was grundsätzliches mit der Oracle DB nicht in Ordnung sein. Eventuell eine Firewall oder Virenscanner der jedes Byte mehrfach umdreht oder sowas?