Performance Lesen und Schreiben aus/in Streams

[virtualAudio]

Hi,

ich habe eine KLasse die ich Filestreamer nenne und für alles mögliche verwende (downloaden von daten, entschlüsseln/verschlüsseln, etc).
Ich frage mich, ob jemand Erfahrung hat wie man dieses Ding vielleicht noch schneller bekommt. Das Original ist viel länger und einige Debuginformatinen die pro Schleifenwiederholungen ausgegeben werden sind vermutlich mehr verantwortlich für eine langsamere Performance als dieser Kern an sich. Trotzdem würde mich interessieren ob jemand die Erfahrung gemacht hat, dass es anders schneller geht. Mir fällt garkeine andere Möglichkeit ein nur über die Buffergröße könnte ich mir vorstellen, dass da noch was zu holen ist. Weiß da jemand mehr? Ich hab etwas Zeitdruck und würde bevor ich groß zu Testen beginne gerne wissen ob es eine generelle Meinung/Taktik gibt...sowas wie..."je größer der Buffer, desto schneller, falls...".

also der Kern der Sache sieht etwa so aus:

    PrintStream ps;
    InputStream is = null;
    
    byte[] buf = new byte[2048];  // <- wer weiß was zum Thema Performance?
    boolean volatile end = false;
    int n;
    
    
    /*
    *   zB für download:
    
    *   URLConnection conn = url.openConnection();
    *   in = conn.getInputStream();
    */
    
    
    try {
        while ((n = is.read(buf)) > 0    &&  !end) {
            ps.write(buf, 0, n);
        }
    } catch (Exception e) {
    } finally {
        is.close();
    }

Für jeden Tipp oder Gedankengang bin ich dankbar
mfg Andi

 

[Wildcard]

Ab einigen KiB ist Java NIO (FileChannel/ByteBuffer) wesentlich schneller als 'klassische' Streams

 

[virtualAudio]

Klingt sehr interessant, werd ich mir anschaun...danke für den Tipp!!!!

 

[HoaX]

is.read(buf)) > 0 ist falsch

 

[virtualAudio]

Vielleicht interessiert es jemanden.

Ich hab ein paar Tests gemacht und die beiden Ansätze verglichen. Außerdem habe ich mit der Buffergröße variiert.

Ich will also möglichst schnell von einem InputStream is in einen PrintStream ps schreiben.


Ansatz 1 - Der (auch an anderen Stellen im web) empfohlene Ansatz:

	ReadableByteChannel fcIn = Channels.newChannel(is);
	WritableByteChannel fcOut = Channels.newChannel(ps);
	ByteBuffer buf = ByteBuffer.allocateDirect(BUFFERSIZE); 
	
	buf.clear();
	while((n = fcIn.read(buf))!=-1){
		
		buf.flip();
		fcOut.write(buf);
		buf.compact();   // In case of partial write
	}

Ansatz 2 - Der vermeintlich "alte" Ansatz:

	byte[] buf = new byte[BUFFERSIZE];

	while ((n = is.read(buf)) > 0 && !end) { /* , offset, len */
		ps.write(buf, 0, n);
	}

Kopiert habe ich ein 20mb txt-file von/auf HD.

Also was interessant war und mich noch zum Krübeln bringt war die Tatsache, dass Ansatz 2 bei mir bessere Werte geliefert hat. Beide Ansatze sind extrem stark von der Wahl der Buffergröße abhängig (ca. bei 2^16bytes gibt es die besten Werte, darüber und darunter wird die Sache teilweise schnell schlechter).

Ein paar ausgewählte Ergebnisse:

Buffersize -> Dauer

Ansatz 1:

2^10 -> ~350ms
2^15-2^19 -> ~120-140ms
2^25 -> ~170ms


Ansatz 2:

2^10 -> ~290ms
2^16 -> ~80-90ms (minimum)
2^25 -> ~800ms


Die Tests hab ich jeweils mind. 5x laufen lassen. Es gibt selten aber doch auch mal Ausreißer nach oben.

Ich bin schon ganz glücklich die Zeit von ~600ms zuvor auf jetzt 80ms verbessert zu haben. Aber die Tatsache, dass der (überall als besser bekannte) Ansatz1 bei mir langsamer ist lässt mich auch noch auf mehr hoffen. Ich bin zufrieden, aber vielleicht geht ja noch was.

lg Andi