Library für High Performance Mime Type Erkennung

Hi, ich suche eine library zur mime type erkennung, ich weiß, da gibts ungefähr 200, aber die die ich bis jetzt probiert hab, -und das sind die allgemein bekannten- sind für mich zu langsam. sowohl JMimeMagic als auch MimeUtil sind für meine zwecke zu langsam.
Ich muss mehrere hundert dateien mit bis zu 2000 zeilen quellcode analysieren.

Außerdem reicht es für mich eigentlich wenn ich weiß ob die datei binär oder textbasierend ist.

Weiß da irgendwer eine gute library für mich?

danke im voraus
 

ice-breaker

Top Contributor
Alleine schon mehrere Hundert Dateien mit 2000 Zeilen Programmcode von der Platte zu lesen wird einen Moment dauern ;)

Warum nicht per Hand? Ließ die Datei stückweise mit einem 8kb großen Buffer, schau dann nach ob in dem Buffer non-printable ASCII-Zeichen stehen und du weißt ob der Buffer binär oder textbasiert ist.
Wahlweise liest du dann eben die nächste Datei oder den nächsten Buffer dieser Datei ein.
 
so, hab jetzt nochmal geschaut, also das einlesen ist nicht das problem, ich hab zeiten mitprotokollieren lassen und es ist immer die mime type analyse zeitaufwendig.

hab das jetzt nochmal mit meinem team besprochen, es reicht doch nicht zu wissen obs eine binär datei ist oder nicht. muss doch den kompletten mime type kriegen.

kennt irgendwer ein java framework (könnt theoretisch auch eine andere sprache sein) das den mime type anhand der ersten paar zeilen erkennt?
 

Empire Phoenix

Top Contributor
Das mag jetzt primitiv klingen, aber kann man zumindest nicht für bekannte dateiendungen die mime erkennung komplett überspringen? (Hashmap mit dateiendung auf mimetyp?)

Oder sind keine Dateiendungen vorhanden?
 

ice-breaker

Top Contributor
Eine Datei hat i.R. in den ersten 3-4 Bytes eine Magische Zahl stehen, die du auswerten kannst ;)
Ob das gif nun wirklich ein gif ist, ist verdammt schwer zu beweisen, wenn das nicht unbedingt benötigt wird hätte man schonmal eine schnelle Erkennung des Mime-Types.
 
Das mag jetzt primitiv klingen, aber kann man zumindest nicht für bekannte dateiendungen die mime erkennung komplett überspringen? (Hashmap mit dateiendung auf mimetyp?)

Oder sind keine Dateiendungen vorhanden?

Ja, das Problem ist, dass teilweise keine Dateiendungen vorhanden sind, bzw. diese vllt. nicht stimmen

das mit der 'Magischen Zahl' hab ich mir auch schon überlegt, wollte wissen ob jemand ein framework kennt, dass die zur mime type erkennung benutzt

das tika projekt schau ich mir an sobald ich die zeit dafür finde

danke für die antworten bis jetzt
 

Empire Phoenix

Top Contributor
Wenn du weißt um welche mime typen es sich nur handeln kann kann man evtl auch anch headern gezielt suchen.

aka bei *.mp3 teste ich ob ich einen gültigen mp3 header finde wenn ja dann keine weiter erkennung nötig.
 
nein, nicht wirklich, ich weiß dass die meisten dateien JAVA dateien sind, aber eben nicht alle und der rest kann theoretisch alles sein

EDIT:
achja, vielleicht hab ich ja falsche erwartungen, kann mir irgendwer hier der schon erfahrung mit mime types hat kurz sagen wie lang so eine mime type analyse von einer beliebigen text datei mit ca. 200 zeilen dauern sollte?

danke
 
Zuletzt bearbeitet:
Ähnliche Java Themen
  Titel Forum Antworten Datum
webracer999 Library für Textsuche (z. B. include/exclude, and/or)? Allgemeine Java-Themen 5
I OCR Library für Belegerkennung Allgemeine Java-Themen 7
H Interface PluginSystem ClassNotFound exception für library Klassen Allgemeine Java-Themen 10
M Best Practices Exception Handling für eigene library Allgemeine Java-Themen 8
G Library für CNC Programme Allgemeine Java-Themen 2
F Java Library für Videobearbeitung, edit, cut, encode. Allgemeine Java-Themen 6
D Hat Java eine Library um JavaScript auszuwerten? Allgemeine Java-Themen 2
F Problem mit PDFBOX Library Allgemeine Java-Themen 1
D Open Source Library zum erstellen von PDFs Allgemeine Java-Themen 1
P9cman java.Lang Klassen fehlen in JRE System Library Allgemeine Java-Themen 1
F Kennt ihr eine Library um 2 HTML Seiten zu diffen? Allgemeine Java-Themen 8
O Arrays an DOCX-Stamper Library übergeben Allgemeine Java-Themen 1
TheWhiteShadow 2D-Grafik GIF Library mit byte output Allgemeine Java-Themen 10
J Probleme beim einbinden von Zip4j library Allgemeine Java-Themen 6
B Maven Keycloak library wirft exceptions nach maven package Allgemeine Java-Themen 1
A Classpath Library in verschiedenen Projekten Allgemeine Java-Themen 2
O Standard library nativer C code Allgemeine Java-Themen 1
B OCR Library gesucht Allgemeine Java-Themen 6
S Anwendung die alle Abhaengigkeiten einer Library listet..? Allgemeine Java-Themen 5
Tausendsassa Kabeja Library Allgemeine Java-Themen 9
4a61766120617274697374 PDF library Allgemeine Java-Themen 5
D Library/Framework zum Umwandeln von Sound in Notenbilder Allgemeine Java-Themen 1
S Classpath Wie kann ich Java-Library Klassen "verstecken"..? Allgemeine Java-Themen 4
J Lanterna Library Allgemeine Java-Themen 2
A Linux: Native Library mit Rootrechten ohne Prozess mit sudo zu starten Allgemeine Java-Themen 1
F Java Native/Shared Library (.so) laden macht Probleme Allgemeine Java-Themen 3
F rxtx library mit virtuellem Comport Allgemeine Java-Themen 2
chuxXo JAVA MP3 Library Allgemeine Java-Themen 11
F Frage zur Library JTS Allgemeine Java-Themen 5
M Interface einer Library implementieren Allgemeine Java-Themen 3
reibi JNA - Native Acess - Library Path Allgemeine Java-Themen 2
G USB Library Allgemeine Java-Themen 1
B Load Library and use JNA to access Allgemeine Java-Themen 3
G Native Library / Fehler beim Laden der .so/.dll Datei Allgemeine Java-Themen 17
S Library fuer Internet-Text-Daten-Quellen..? Allgemeine Java-Themen 8
B IRC-Library Gesucht Allgemeine Java-Themen 2
N DTAU Library Allgemeine Java-Themen 2
H java.library.path mit einer Batch-Datei einstellen Allgemeine Java-Themen 3
G RXTX native library unter Linux in jar build angeben Allgemeine Java-Themen 4
B NetBeans Library nicht gefunden Allgemeine Java-Themen 6
T Einbinden einer Library in NetBeans Allgemeine Java-Themen 3
S RXTX library in Jar einbinden Allgemeine Java-Themen 5
R JNI load so-library Allgemeine Java-Themen 4
ruutaiokwu META-INF-daten bei ungepackten library-projekten während der entwicklung mit einbeziehen...? Allgemeine Java-Themen 2
C Jni Library/dll erstellen Allgemeine Java-Themen 4
G Suche "richtiges" Framework/Library Allgemeine Java-Themen 14
T Mathematik Parser Library? Allgemeine Java-Themen 4
P jar <-> Library Allgemeine Java-Themen 2
nrg Externe Library Lizenzen Allgemeine Java-Themen 14
D plattformabhängige library ausblenden Allgemeine Java-Themen 4
S 3D Grafik Library? Allgemeine Java-Themen 5
Lufti Unterschied zwischen Djava.library.path und Class-Path im Manifest? Allgemeine Java-Themen 2
N Exception in thread "main" java.lang.UnsatisfiedLinkError: no lwjgl in java.library.p Allgemeine Java-Themen 4
P SUCHE: gute Geo Library (freeware) Allgemeine Java-Themen 2
P Suche performante PDF Library Allgemeine Java-Themen 20
S suche library die diagramme darstellen kann Allgemeine Java-Themen 2
G RXTX library braucht sehr lange zum laden. Ist das normal? Allgemeine Java-Themen 8
A Strings joinen, Standard-Library? Allgemeine Java-Themen 9
P MP3-Player Library: MP3 abspielen und ID-Tags auslesen Allgemeine Java-Themen 12
D PDF library Allgemeine Java-Themen 6
J ICQ Library Allgemeine Java-Themen 6
T Native Library ausliefern Allgemeine Java-Themen 12
C Speicherlecks in externer Library Allgemeine Java-Themen 2
A java.library.path festlegen. Allgemeine Java-Themen 5
J Native Library einbinden Allgemeine Java-Themen 17
G C++ Library in Java einbinden Allgemeine Java-Themen 4
C ICQ Library Allgemeine Java-Themen 3
M JNI, static.a mit load.Library laden? Allgemeine Java-Themen 2
T Disk Image Library (iso,mdf,nrg,bin) Allgemeine Java-Themen 6
cowabunga1984 Library um TIF in PDF zu konvertieren Allgemeine Java-Themen 2
foobar java.library.path Property setzen Allgemeine Java-Themen 5
F POI Library - Graphic in Excel inserten möglich? Allgemeine Java-Themen 2
Karl_Der_Nette_Anfänger Hat wer ne Lösung für verknüpfte Postleitzahlen? (Baum/Wurzel Struktur) Allgemeine Java-Themen 11
R 11 GB File lesen ohne zu extrahieren Filedaten Bereich für Bereich adressieren dann mit Multi-Thread id die DB importieren Allgemeine Java-Themen 3
G KeyListener für JTextField Allgemeine Java-Themen 5
I Module-Info für Jar erzeugen Allgemeine Java-Themen 7
krgewb Java-Bibliothek für ONVIF Allgemeine Java-Themen 1
B Simpler Eventlistener für Tastaturtaste bauen? Allgemeine Java-Themen 13
_user_q Eingegebenen Text Zeile für Zeile ausgeben lassen Allgemeine Java-Themen 11
E Key für TOTP Algorythmus(Google Authentificator) Allgemeine Java-Themen 0
S Formel für Sonnenwinkel in ein Programm überführen Allgemeine Java-Themen 11
M pfx-Zertifikat in Tomcat für SSL-Verschlüsselung nutzen Allgemeine Java-Themen 14
R Best Practice Erfahrungswerte für eine Migration von JSF nach Angular (oder anderes JS-Framework) Allgemeine Java-Themen 1
B HeapSort für Array of Strings funktioniert nur teilweise Allgemeine Java-Themen 3
jhCDtGVjcZGcfzug Klassen Was genau passiert hier? Kann mir das jemand bitte Zeile für Zeile erklären? Allgemeine Java-Themen 1
rosima26 Bester Sortieralgorithmus für kurze Arrays Allgemeine Java-Themen 40
S Mit Methoden kann man definieren für was <T> steht. Geht das auch irgendwie für Variablen? Allgemeine Java-Themen 12
MangoTango Operatoren while-Schleife für Potenz Allgemeine Java-Themen 3
B Lottospiel, genug Reihen tippen für 3 Richtige (Spaß mit Arrays)? Allgemeine Java-Themen 46
B Mit welchen Datentypen und Strukturierung am Besten dutzende Baccaratspiele Shcritt für Schritt durchsimulieren? Allgemeine Java-Themen 26
D Klassendesign für einen Pascal Interpreter Allgemeine Java-Themen 6
farah GetterMathod für Farbkanäle Allgemeine Java-Themen 6
B Welcher Datentyp für sehr große Zahlenbereiche? Allgemeine Java-Themen 1
S Webservices für binäre Daten? Allgemeine Java-Themen 5
G Licence-Header für InHouse entwickelten Source Allgemeine Java-Themen 8
M Schleife für einen TicTacToe Computer Allgemeine Java-Themen 5
O git ignore für Intellji braucht es die .idea Dateien? Allgemeine Java-Themen 8
F Java Script für das Vorhaben das richtige? Allgemeine Java-Themen 9
M wiviel Java muss ich für die Berufswelt können ? Allgemeine Java-Themen 5
Robertop Datumsformat für GB ab Java 16 Allgemeine Java-Themen 1

Ähnliche Java Themen

Neue Themen


Oben