Performance IO vs. NIO

[canndy]

Hallo,

ich habe eine ziemlich große Datei (1 GB Flat File), die ich sequentiell analysieren möchte.

Nun habe ich durch Tests festgestellt, dass BufferedInputStream (aus io) und MappedByteBuffer (aus nio) so ungefähr die schnellsten Lösungen sind -- abgesehen von Direct Buffering. Beide Möglichkeiten sind für das sequentielle Lesen ungefähr gleich schnell:

Variante IO:

BufferedInputStream bis = new BufferedInputStream(new FileInputStream("TEST.CSV"));
while (bis.read() >= 0);

Variante NIO:

RandomAccessFile raf = new RandomAccessFile("TEST.CSV","r");
MappedByteBuffer mbb = raf.getChannel().map(FileChannel.MapMode.READ_ONLY, 0, raf.length());
while (mbb.hasRemaining()) mbb.get();

Was mich aber verwundert ist das Speicherverhalten dieser beiden Varianten. Im Windows Task-Manager benötigt Variante NIO teilweise 500 MB Speicher, während Variante IO mit 8 MB klarkommt.

Warum ist das so? Sollte man für sequentielles Lesen immer IO statt NIO verwenden?

canndy

 

[Wildcard]

NIO ist schneller als IO, aber vielleicht mappst du ein wenig zu viel gleichzeitig in den RAM? :wink:

 

[canndy]

Hm, bis jetzt habe ich noch nirgends gesehen, dass das File aufgespaltet gemappt werden muss, damit es effizient ist. Ich habe es gerade mal geviertelt, und das Ergebnis war von der Zeit her sogar noch schlechter und vom Speicher her genauso wie vorher (sogar einmal bis zu 700 MB belegt). Was vermutlich daran liegt, dass der Garbage-Collector nicht läuft? Und wenn er laufen würde, würde dies ja auch das (zeitliche) Ergebnis wieder vermiesen, oder?

Also, zusammengefasst, beim sequentiellen Lesen hat bei mir MappedByteBuffer eine wesentlich schlechtere Performance bzgl. des Speichers als BufferedInputStream -- und von der Laufzeit her ungefähr gleich. Ich dachte immer, NIO wäre besser. ;-)

 

[Guest]

Datendurchsatz-Vergleich auf meinem System:

Variante IO: 40 MB/s

Variante NIO: 33 MB/s

"Direct Buffering": 60 MB/s

(Mit Direct Buffering meine ich folgende Art

byte[] buf = new byte[8192];
BufferedInputStream bis = new BufferedInputStream(new FileInputStream("TEST.CSV"));
while (bis.read(buf) >= 0);

Die HD-Benchmark-Software "HD Tach" sagt mir, dass 51 MB/s der durchschnittliche Datendurchsatz (Lesen) meiner Festplatte sind.

NIO scheint bei sequentiellem Lesen nur Nachteile zu bringen. Und dann gibt es anscheinend auch noch den Bug, dass man gemappte Dateien nicht mehr (deterministisch) löschen kann:

http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=4724038

Aber ich würde mich gerne eines Besseren belehren lassen.

 

[Gelöschtes Mitglied 5909]

hier is n artikel zu nio, vielleicht hilft dir der ja

http://java.sys-con.com/read/43555.htm

 

[Gast]

byte[] buf = new byte[8192];
BufferedInputStream bis = new BufferedInputStream(new FileInputStream("TEST.CSV"));
while (bis.read(buf) >= 0);

ist das nicht irgendwie doppeltgemoppelt?

Der BufferedInputStream buffert ja schon, dann kann man doch auch direkt mit bis.read() einlesen (Wenn man denn byteweise durchgehen will)