Best Practice MD5 Funktion

[TheFrog]

Hallo,

ich habe die Aufgabe eine Website zu programmieren, die es dem Anwender erlaubt den MD5 Hash einer Datei zu berechnen. Die Dateien sollen dabei allerdings nicht auf den Webserver hochgeladen werden. Die Website hab ich schnell mit JSP auf dem Tomcat erstellt und für die Hashwert-Berechnung ist JavaScript im Einsatz ( SparkMD5). Anschließend habe ich das ganze für ein paar Files getestet. Bei kleineren Dateien ist der Hash in Milisekunden berechnet, künftig werden aber vorwiegend Dateien mit Größen zwischen 500MB und 2GB dafür verwendet. Stolze 93 Sekunden hat es gebraucht den Hash für eine 700MB große Datei zu berechnen (Die Zeit wird wohl für das Laden der Datei in den Cache gebraucht??).

Mit dem entsprechenden Linux Befehl geht das Ganze in 2-3 Sekunden.

Habt ihr eine Idee was man besser machen kann?

 

[Tobse]

Wenn du den Hash auf dem Client berechnest hat das mit Java garnix zu tun sondern ist ein JavaScript-Thema. Poste doch mal bitte deinen JS-Code zum berechnen des Hashes.

Prinzipiell ist JavaScript ziemlich langsam, weil es interpretiert wird und noch dazu sehr viele Dinge zur Laufzeit macht, die stärker typisierte Sprachen zur Compilezeit machen können. Ich fürchte an der Performance der JS-Hash-Berechnung lässt sich nicht viel schrauben.

 

[TheFrog]

Hallo Tobse,

schön, dass du so schnell antwortest Es wird wohl generell an JS liegen, habe auch nur den Beispielcode von SparkMD5 verwendet.

Gibt es eine Möglichkeit die Linux-Funktion "md5sum" aus dem Browser heraus zu starten und den Dateipfad der gewählten Datei per HTTP mitzugeben? Den Dateinamen + den berechneten Hash möchte ich dann automatisch an eine bestimmte Mail-Adresse versenden.

 

[Tobse]

Ist es dashier? Entwickleroptionen sind ausgeschaltet?
Der Beispielcode auf der Github-Seite sieht solide aus; mit JS geht es wohl nicht schneller.

Gibt es eine Möglichkeit die Linux-Funktion "md5sum" aus dem Browser heraus zu starten

Ganz sicher nicht. Wenn jede Webseite Shell-Befehle ausführen könnte :O :O :O Und was sollen die Windows-User tun?!

und den Dateipfad der gewählten Datei per HTTP mitzugeben?

Browser geben dir keinen Zugriff auf den Dateipfad, lediglich den Dateinamen. Das ist eine Sicherheitsvorkehrung.

Den Dateinamen + den berechneten Hash möchte ich dann automatisch an eine bestimmte Mail-Adresse versenden.

Warum denn das? Was spricht denn dagegen, die Hash anzuzeigen?
Den E-Mail-Versand kannst du erreichen, indem du den Hash + den Dateinamen an deinen Server schickst. Der haut dann die E-Mail raus (siehe bspw. Java-Mail). Ist aber IMHO ein unnötiges Risiko.

 

[TheFrog]

Dann wird das wohl mit einer Website nicht performant zu lösen sein? Es ist aktuell ein Shellskript im Einsatz das zwar die benötigte Funktionalität sichert (Hashwert berechnen u. anschließend entsprechende Mail versenden) , die Anwender sind damit aber manchmal überfordert. Eine einfache Java Anwendung mit GUI könnte evtl die Situation verbessern. Die Anwendung muss dann halt wieder bereitgestellt und entsprechend auf den Clients runtergeladen werden

 

[Tobse]

Dann wird das wohl mit einer Website nicht performant zu lösen sein?

Ich sehe das Bottleneck gerade nicht, es ist aber durchaus vorhanden: Auf dieser Webseite https://md5file.com/calculator bekomme ich die MD5-Hashes für 4 150MB Dateien in Knapp 10 Sekunden.

 

[TheFrog]

Also ich hab grad sparkmd5 sowie md5file.com mit einer 4,5gb großen mkv datei getestet. Bei sparkmd5 komm ich auf 1:46 min, bei MD5File.com auf stolze 3:25min
Mit fciv keine 10 sekunden.

 

[TheFrog]

Wie sieht es mit einem Java Applet aus ? Kann ich da auf Systemfunktionen zugreifen?

 

[dayaftereh]

Java Applets sind seit ein paar Jahren in den meisten Browsern Deaktiviert. Wenn deine Users noch nicht mal mit Shell Scripten um gehen können, denke ich wird es schwer das Applet im Browser zum laufen zu bekommen.

PS: aus Sicherheitsgründen sind sie deaktiviert!

 

[Tobse]

Also sowas https://sourceforge.net/projects/quickhash/ ist super einfach zu installieren und zu nutzen, wahrscheinlich genauso Nutzer(un)freundlich wie eine Webseite. Benötitgt bei mir für 4,45GB (von einer HDD durch DDR3-RAM und einen i5-4430) 33 Sekunden.