Java NIO Urlconnection Filetransfer

CHAOSFISCH

Bekanntes Mitglied
Servus,

ich versuch grad meinen Fileupload umzustellen auf Java7.
Soweit ich informiert bin ist Java NIO besser als IO in Bezug auf Performance.
Sehr gerne würde ich den Fileupload mit Apache HTTPClient machen, jedoch ist hier wichtig zu erwähnen, dass es sich um einen Chunkedupload zu Youtube handelt - eine Möglichkeit dies daher zu verwenden habe ich nicht gefunden.

Hat jemand hier vielleicht ein Beispiel für die Verwendung von HTTPClient chunk upload oder Java NIO UrlConnection upload?

Gruß
CHAOSFISCH
 

Bernd Hohmann

Top Contributor
Wenn Du nicht gerade spezielle Sachen brauchst (wie asynchrone Bedienung der Sockets) dauert die Umstellung auf NIO länger Du jemals an Geschwindigkeitsvorteilen herausholen wirst. Die Bremse ist das Netz selbst, nicht java.net.*

Bernd
 

CHAOSFISCH

Bekanntes Mitglied
Wenn Du nicht gerade spezielle Sachen brauchst (wie asynchrone Bedienung der Sockets) dauert die Umstellung auf NIO länger Du jemals an Geschwindigkeitsvorteilen herausholen wirst. Die Bremse ist das Netz selbst, nicht java.net.*

Bernd

Zeitlich habe ich kein Problem damit :p
Performancetechnisch erhoffe ich mir vor allem bei den Glasfaserusern eine Verbesserung. Diese haben teils unterirdische Uploadgeschwindigkeiten unabhängig von der Chunkgröße.
Zumal dann noch die 2. Frage von mir: Ist das ganze sinnvoll mit HttpClient umsetzbar?
- eine manuelle UrlConnection bringt sehr viel Fehlerpotential mit.

Gruß
CHAOSFISCH
 
S

Spacerat

Gast
Wenn Du nicht gerade spezielle Sachen brauchst (wie asynchrone Bedienung der Sockets) dauert die Umstellung auf NIO länger Du jemals an Geschwindigkeitsvorteilen herausholen wirst. Die Bremse ist das Netz selbst, nicht java.net.*

Bernd
Hehe... da ist was dran.

Die Performancevorteile von Java NIO geniesst man nur innerhalb der VM. Das hat etwas mit der Pufferverwaltug innerhalb dieser zu tun, genauer gesagt, ob die Puffer im JVM-Heap oder im BS-Speicher (DirectBuffer) angelegt werden. Wenn man so will (und es vor allem noch kennt XD) könnte man DirectBuffer mit dem Graphics-Mem und den Heap mit dem Fast-Mem eines Amigas vergleichen. DirectBuffer können von der JVM direkt (per Referenz) an das BS übergeben werden und so BS weit (Alice, Paula, Lisa, 68k) genutzt werden. Auf den Heap hat aber nur die VM (nur 68k) Zugriff.
Okay, der Vergleich hinkt etwas, zumal der Heap plötzlich der schnellere (Fast-Mem) Speicher sein müsste. Jedoch fallen unterschiedliche, harwarebedingte Zugriffszeiten beider Speicherarten logischerweise weg, ebenso der hardware synchronisierte Zugriff (DMA) und es bleibt nur noch die Kenntnis/Erreichbarkeit der Speicheradressen übrig. Deswegen können DirectBuffer durchaus performanter sein.
 
Zuletzt bearbeitet von einem Moderator:

CHAOSFISCH

Bekanntes Mitglied
Hehe... da ist was dran.

Die Performancevorteile von Java NIO geniesst man nur innerhalb der VM. Das hat etwas mit der Pufferverwaltug innerhalb dieser zu tun, genauer gesagt, ob die Puffer im JVM-Heap oder im BS-Speicher (DirectBuffer) angelegt werden. Wenn man so will (und es vor allem noch kennt XD) könnte man DirectBuffer mit dem Graphics-Mem und den Heap mit dem Fast-Mem eines Amigas vergleichen. DirectBuffer können von der JVM direkt (per Referenz) an das BS übergeben werden und so BS weit (Alice, Paula, Lisa, 68k) genutzt werden. Auf den Heap hat aber nur die VM (nur 68k) Zugriff.
Okay, der Vergleich hinkt etwas, zumal der Heap plötzlich der schnellere (Fast-Mem) Speicher sein müsste. Jedoch fallen unterschiedliche, harwarebedingte Zugriffszeiten beider Speicherarten logischerweise weg und es bleibt nur noch die Kenntnis/Erreichbarkeit der Speicheradressen übrig. Deswegen können DirectBuffer durchaus performanter sein.

Ja okay, was kann dann der Grund sein, dass Glasfaser oder Rootserver-Anbindungen es nicht schaffen mit voller Leistung ähnlich dem Browserfenster hochzuladen? Chunksize? Standard 10MB, kann auf bis zu 500MB erhöht werden - keine richtige Veränderung. Input byteBuffer-Größe? 8192 zu klein?
 
S

Spacerat

Gast
Ja okay, was kann dann der Grund sein, dass Glasfaser oder Rootserver-Anbindungen es nicht schaffen mit voller Leistung ähnlich dem Browserfenster hochzuladen? Chunksize? Standard 10MB, kann auf bis zu 500MB erhöht werden - keine richtige Veränderung. Input byteBuffer-Größe? 8192 zu klein?
Relativ einfach... wenn etwas mit nur 10MBit gesendet wird, kann es auch nur mit 10MBit empfangen werden, da kannst du Millarden Bytes als Puffer haben, die werden brach liegen. In die andere Richtung (1000MBit -> 10MBit) lohnen sich grössere Puffer (>8k) meistens auch nicht.
 

CHAOSFISCH

Bekanntes Mitglied
Relativ einfach... wenn etwas mit nur 10MBit gesendet wird, kann es auch nur mit 10MBit empfangen werden, da kannst du Millarden Bytes als Puffer haben, die werden brach liegen. In die andere Richtung (500MBit -> 10MBit) lohnen sich grössere Puffer (>8k) meistens auch nicht.

Ich sprach von 10Megabyte Chunkgröße bis 500 Megabyte. War jetzt MB Megabyte oder Mb - ich dachte MB!
500 Megabyte / s schafft keine Rootserver-Anbindung und wäre mehr als was eine standard Glasfaserverbindung pro Sekunde schaffen kann (Ich rede hier von FTTH).
 
S

Spacerat

Gast
Ich sprach von 10Megabyte Chunkgröße bis 500 Megabyte. War jetzt MB Megabyte oder Mb - ich dachte MB!
500 Megabyte / s schafft keine Rootserver-Anbindung und wäre mehr als was eine standard Glasfaserverbindung pro Sekunde schaffen kann (Ich rede hier von FTTH).
Das ist egal. ;)
Aber das Ganze gerne noch mal in MB/s (Ich rechne da mal schlicht /8). Wenn man nur 1,25MB/s sendet, kann man keine 125MB/s empfangen. Das ist von einer Puffergrösse völlig unabhängig.
 
Zuletzt bearbeitet von einem Moderator:

CHAOSFISCH

Bekanntes Mitglied
Das ist egal. ;)
Aber das Ganze gerne noch mal in MB/s (Ich rechne da mal schlicht /8). Wenn man nur 1,25MB/s sendet, kann man keine 125MB/s empfangen.

Wir müssen irgendwo aneinander vorbeireden.
Upload im Browser (Java-applet von Google) = 100% Leistung
Upload in Javanwendung = 10% Leistung
bei schnellen Verbindungen.
Was ist also falsch?
 
S

Spacerat

Gast
Wir müssen irgendwo aneinander vorbeireden.
Upload im Browser (Java-applet von Google) = 100% Leistung
Upload in Javanwendung = 10% Leistung
bei schnellen Verbindungen.
Was ist also falsch?
Evtl. liegts am Buffering beim Sender. Da sollte man dem Stream eine Pipe vorschalten. Das erfordert zwar mindestens einen Thread mehr, sorgt aber dafür, dass ausschlieslich gefüllte Buffer gesendet werden, sofern nicht gedrained oder geflusht wird.
 

CHAOSFISCH

Bekanntes Mitglied
Evtl. liegts am Buffering beim Sender. Da sollte man dem Stream eine Pipe vorschalten. Das erfordert zwar mindestens einen Thread mehr, sorgt aber dafür, dass ausschlieslich gefüllte Buffer gesendet werden, sofern nicht gedrained oder geflusht wird.

Okay, das werd ich dann mal googlen. Brauch aber ein zwei Tage für eine Bestätigung ob damit das "Problem" gesolved wurde.
 

Bernd Hohmann

Top Contributor
Wir müssen irgendwo aneinander vorbeireden.
Upload im Browser (Java-applet von Google) = 100% Leistung
Upload in Javanwendung = 10% Leistung
bei schnellen Verbindungen.
Was ist also falsch?

Da fallen mir eine Menge Fehlerquellen ein deren Behebungen abseits von java.nio liegen.

Das Java-Applet von Google könnte dir zB. den nächsten Uploadserver mit den geringsten Hops dazwischen zuweisen oder welcher die geringsten Routingkosten oder Latenzen hat.

Ich mache zu viel mit dem Dreck als dass ich bei Deiner Frage sagen kann "das ist die wahrscheinlichste Lösung!"

Bernd
 

CHAOSFISCH

Bekanntes Mitglied
Da fallen mir eine Menge Fehlerquellen ein deren Behebungen abseits von java.nio liegen.

Das Java-Applet von Google könnte dir zB. den nächsten Uploadserver mit den geringsten Hops dazwischen zuweisen oder welcher die geringsten Routingkosten oder Latenzen hat.

Ich mache zu viel mit dem Dreck als dass ich bei Deiner Frage sagen kann "das ist die wahrscheinlichste Lösung!"

Bernd

Gut selbst wenn das der Fall ist, so hätte ich dann eine Information die ich dann als Enhancement Issue weiterleiten könnte. Nur will ich hier auch grundlegend schonmal eine "optimale" Lösung in der Anwendung haben, so dass man möglichst eindeutig den Server für das Problem verantwortlich machen kann.
 
Ähnliche Java Themen
  Titel Forum Antworten Datum
D HTTP Apache-HttpClient/UNAVAILABLE (java 1.4) Netzwerkprogrammierung 18
M JAX-WS unter Java 17 plötzlich nicht mehr möglich Netzwerkprogrammierung 5
K Java RMI bricht ab wenn Remote eine Methode ausgeführt werden soll Netzwerkprogrammierung 5
M HTTP Let's Encrypt und Java Trust-Store Netzwerkprogrammierung 6
JaXnPriVate Java HTTPS Server (Secure Sockets) Netzwerkprogrammierung 15
Tobero Java serversocket nicht nur zuganglich für localhost Netzwerkprogrammierung 6
D path-Variablen in eine URL hinzufügen mit Java 1.8 Netzwerkprogrammierung 2
D WebSocket Server mit HTML Client und Java Server Netzwerkprogrammierung 5
S Von Java auf passwortgeschützten Server zugreifen + Umgang mit Ports Netzwerkprogrammierung 28
S Probleme bei Java-Installation auf Server (Linux/Shell/Terminal) Netzwerkprogrammierung 6
S Java: Anbindung an einen realen Server? (+ Portfreigabe) Netzwerkprogrammierung 8
H Socket Chat entwickeln mit Java Server Client Netzwerkprogrammierung 4
x46 Java SSLContext erstellen mit SSL-Zertifikat Netzwerkprogrammierung 1
P Jenkins Login per Java Download Manager Netzwerkprogrammierung 15
N Java socket Programmierung Filme verschicken Netzwerkprogrammierung 20
S HTTP Post?!? - Java Server Netzwerkprogrammierung 7
F Verbindung zu einem LDAP Server über Java Netzwerkprogrammierung 4
K Java Websocketserver Problem | Android to Pi Netzwerkprogrammierung 1
R Anfängerbeispiel: Suche Java-Anwendung die http-Anfragen in Tomcat liest Netzwerkprogrammierung 8
V Browsergame mit Java(WebSocketServer) als Backend? Netzwerkprogrammierung 5
platofan23 Socket Java Socket mit DynDns nicht erreichbar Netzwerkprogrammierung 6
S Fragen zu Java Webservice mit Axis2 Netzwerkprogrammierung 0
M Mit Java Mail Mails an Webmailer schicken Netzwerkprogrammierung 1
mor16Euro HTTP Php website mit Java aktualisiern Netzwerkprogrammierung 6
T HTTP JAVA Browser Konsolenanfrage(JavaScript) Netzwerkprogrammierung 7
L Socket Wie kann man in Java die Anzahl der Objekte in einem InputStream sehen ohne ihn durchgehen zu müssen Netzwerkprogrammierung 1
M Socket Verbindung Matlab(Server) Java(Client) Netzwerkprogrammierung 1
M Socket peer to peer Verbindung zwischen Java und Matlab Netzwerkprogrammierung 0
L Remote Desktop per Java steuern Netzwerkprogrammierung 4
F Server für Java Applikationen Netzwerkprogrammierung 16
J Webserver mit Java schreiben? Netzwerkprogrammierung 4
D JAVA RMI Netzwerkprogrammierung 1
K HTTP Mit Java HTML Codeauslesen um damit zu arbeiten Netzwerkprogrammierung 7
V Kann man mit Hilfe eines Java-Programms den Zugriff auf bestimmte Internetseiten verhinden? Netzwerkprogrammierung 3
J HTTP [Java 9] Neuer HTTP Client - Tutorial Netzwerkprogrammierung 3
T Mikrofonaudio über Java Server an Webbrowser streamen Netzwerkprogrammierung 13
A Bestimmter URL/Certificate per Java immer vertrauen (Trustmanager/HostnameVerifier) Netzwerkprogrammierung 1
T VPN-Verbindung über Java Netzwerkprogrammierung 4
M HTTP PATCH Request mit Java ausführen Netzwerkprogrammierung 2
Niggo_ Probleme mit Java Mail Netzwerkprogrammierung 14
Aruetiise Socket Java Programm auf Server Netzwerkprogrammierung 3
L FTP Java Interpreter unterbindet SSL Handshake Netzwerkprogrammierung 2
C IFrame mit java auslesen Netzwerkprogrammierung 1
A FTP wie kann ich von java auf datei in fpt://192.168.178.1 lesen/schreiben? Netzwerkprogrammierung 3
C Datensammlung mit Java RMI Netzwerkprogrammierung 0
K Java Jsoup : OnLoad Netzwerkprogrammierung 0
S Java Chat Server Netzwerkprogrammierung 8
Carres HTTP Vorhandenen Session-ID Cookie von Firefox, Chrome oder IE in Java verwenden Netzwerkprogrammierung 2
B Java+Grbl: G-Code Befehle mit Java an Arduino senden und lesen Netzwerkprogrammierung 1
Z HTTP HTML Element auslesen in Java Netzwerkprogrammierung 1
T Socket Java Programm hängt sich auf bei dem versuch von einem Socket scanner Daten zu erhalten. Netzwerkprogrammierung 1
Thallius HTTP HTTPS unter Java 1.6 schlägt fehl Netzwerkprogrammierung 4
Thallius Java Application über ZScaler benutzer? Netzwerkprogrammierung 0
P Chat in Java Netzwerkprogrammierung 3
C java.net.ConnectException: Operation timed out? Netzwerkprogrammierung 2
M Java Eingabe auf FTP Server übergeben Netzwerkprogrammierung 4
T curl request in java umwandeln Netzwerkprogrammierung 4
M Socket Java Server: NullPointerException Netzwerkprogrammierung 4
J Java Server empfängt php inhalt nicht Netzwerkprogrammierung 1
I Socket Kommunikation C / Java Netzwerkprogrammierung 2
H Machbarkeitsfrage: TCP/IP Client (z.B. Netty) für Java Web Applcation Netzwerkprogrammierung 1
L Java RMI Objekt konsistenz Netzwerkprogrammierung 1
H Portforwarding umgehen in Java? Netzwerkprogrammierung 5
D Response in Java Servlet erzeugen Netzwerkprogrammierung 0
X Mit Java eine Applikation auf einem anderen Windows Rechner (Windows Server 2008) starten Netzwerkprogrammierung 1
E HttpUrlConnectionExample cannot be resolved to a type / Java 8 Netzwerkprogrammierung 1
F Socket Java Server mit Android App, Antwort vom Server an App Netzwerkprogrammierung 5
M Java-Programm aus dem Web laden Netzwerkprogrammierung 3
S HTTP-Requeste von Browser mit Java sniffen? Netzwerkprogrammierung 9
J access denied (“java.net.SocketPermission”…) mit Java 8 Netzwerkprogrammierung 1
N CURL requests in Java Netzwerkprogrammierung 6
P Kritische Java-Anwendung und Citrix veröffentlichen Netzwerkprogrammierung 1
F Java Server Scanner oder InputStream kann nicht gelsesen werden! Netzwerkprogrammierung 6
1 Netty NIO oder Java IO Netzwerkprogrammierung 2
1 Via Java mit WLAN Netzwerken verbinden Netzwerkprogrammierung 5
J Java Service Wrapper Netzwerkprogrammierung 1
K Mit Java ASPX Webseite fern steuern Netzwerkprogrammierung 2
H Socket Java | Server sendet Nachricht nur wenn vorher eine JOptionPane-Nachricht ausgegeben wurde. Netzwerkprogrammierung 2
K Emailsenden via Java Applikation Netzwerkprogrammierung 5
L Mit Java über PHP in MySQL anmelden (Login script) Netzwerkprogrammierung 3
C Java Chat Admin Kenzeichnung Netzwerkprogrammierung 14
P PHP Script per Java ausführen Netzwerkprogrammierung 2
P PPTP Protokoll für JAVA Netzwerkprogrammierung 14
T php/java-bridge Netzwerkprogrammierung 16
D Webseite(mit JavaScript-Element) mit Java auslesen Netzwerkprogrammierung 0
G Multiple Clients and one Server --> java.lang.NullPointerException Netzwerkprogrammierung 1
E Java Server übers Internet erreichen Netzwerkprogrammierung 4
D Socket Error: java.lang.NullPointerException Netzwerkprogrammierung 1
windl AirPlay mittels Java Netzwerkprogrammierung 0
R Email mit Java API Netzwerkprogrammierung 1
P Java Deauth / Deauthentication request Netzwerkprogrammierung 10
F Socket Java - Server/Client simple Netzwerkprogrammierung 1
E HTTP java.lang.IllegalArgumentException: protocol = http host = null Netzwerkprogrammierung 1
R Java - Socketprogrammierung Netzwerkprogrammierung 10
B Methoden und Konstruktoren von Java.net package werden nicht geladen Netzwerkprogrammierung 2
L Email versenden mit Java funktioniert nicht, Fehlermeldungen: MessagingException & SocketException Netzwerkprogrammierung 10
V Templates für Java Client rabbitmq Netzwerkprogrammierung 4
N Socket java.net.ConnectException Netzwerkprogrammierung 5
A Java Server - IOS Client Applikation Netzwerkprogrammierung 20
V json_encode in java?? Netzwerkprogrammierung 3

Ähnliche Java Themen


Oben