Große Datei mit Regex durchsuchen

mainclain

Mitglied
Hallo,
ich stehe seit gestern vor einem Problem, welches ich einfach nicht lösen kann.
Ich möchte eine 6MB große Datei mit Regex durchsuchen - und da ist eben mein Problem.
Zudem ist dies eine exe datei. Und ich möchte die Bytes vergleichen (heißt eine einfache umwandlung in String ist auch nicht möglich.)

Bei C# habe ich dies einfach geöffnet:
Code:
byte[] exeByte = System.IO.File.ReadAllBytes("meineExe.exe");
string exe_s = ByteToString(exeByte);

private string ByteToString(byte[] ByteArray)
        {
            System.Text.StringBuilder sb = new StringBuilder();
            foreach (byte b in ByteArray)
                sb.Append(Convert.ToString(b, 16).PadLeft(2, '0'));
            return sb.ToString();
        }

Also erstmal das ganze in ein Byte-Array geladen und das ganze danach byte für byte in ein String (im Hex-Format) umgewandelt.
Ging bei C# in wenigen Sekunden.


Das gleichte versuchte ich auch in Java:
Java:
        String sb = "";
        for(byte b : ByteArray)
        {
            sb += padLeft(Long.toHexString(b), 2, "0");
            System.out.print(padLeft(Long.toHexString(b), 2, "0"));
        }
 
        return sb;

Java:
      public static String padLeft(String s, int n, String form) {
        if(s.length() >= n)
            return s;
 
        int len = n - s.length();
        String f = "";
        for(int i = 0; i < len; i++)
        {
            f += form;
        }
        return f+s;
    }

Das ganze funktioniert auch - nur bei 6GB ist es unheimlich langsam (Würde mehere Stunden dauern).
Ein StreamBuilder ging leider nicht - heap Exception, klar 6MB in speicher laden...


Nun weiß ich nicht weiter wie ich das ganze durchsuchen soll :/


Liebe Grüße und nen schönen Abend noch ^.^
 
Zuletzt bearbeitet:

kirchrath

Mitglied
Wie soll denn deine Regexp aussehen? Ich würde bei so einer großen Datenmenge versuchen byteweise bzw. in kleinen Intervallen die Daten einzulesen und direkt überprüfen ob es möglicherweise einen Treffer gibt. Auf keinen Fall würde ich versuchen diese Datenmenge (besonders nicht in Java) in den Speicher zu laden...

Gruß
Kirchrath
 

mainclain

Mitglied
Hallo, also ein Beispiel:
Java:
"568B7424(.{2})8BC633D2F771(.{2})8B41(.{2})8B149085D274.{2}3972.{2}74.{2}8B1285D275.{2}33C05EC2.{4}8B4424.{2}85C074.{2}8B4A(.{2})"
Und genauso sehen die Bytes auch aus.
Als müsste ichs am besten in einer Schleife laden (eventuell immer etwas gröber 100 Zeichen oda so) jedes mal die Bytes einzelnt in Strings umwandeln und dann Regex drüberlaufen lassen?

Naja mal probieren wie das von der Performance Funktioniert.
Danke schonmal für die Anregung werde ich morgen ausprobieren xD
 

Iron Monkey

Bekanntes Mitglied
Hi MainClain!

Ich würde in dem Fall in der Schleife nie mit String jedesmal verknüpfen!

Versuch mal besser mit StringBuffer, z.B.:

Mit StringBuffer geht noch schneller als mit String!

Java:
        StringBuffer sb = new StringBuffer();
        for(byte b : ByteArray)
        {
            sb.append( padLeft(Long.toHexString(b), 2, "0") );
            System.out.print( sb.toString() );
        }
 
        return sb.toString();

Java:
      public static String padLeft(String s, int n, String form) {
        if(s.length() >= n)
            return s;
 
        int len = n - s.length();
        StringBuffer f = new StringBuffer();
        for(int i = 0; i < len; i++)
        {
            f.append( form );
        }
        return f.toString()+s;
    }

Mit RandomAccesFile kannst du z.B. bei 6 GB besser blockweise ( z.B. Buffer mit 65 kb ) auslesen und verarbeiten! Kannst du ja mal versuchen!

Gruß
Iron Monkey
 

mainclain

Mitglied
Okay nun klappt alles bei mir^^
Bin einzelnd durch gegangen:


Java:
BufferedInputStream bis = new BufferedInputStream(new FileInputStream(file));
 
           String oldStr = "";
 
           while(bis.available() != 0)
           {
               String workString = "";
 
               StringBuilder BtS = new StringBuilder();
               int wS = 0;
               while(wS < 1000 && bis.available() != 0)
               {
                   BtS.append(padLeft(Integer.toHexString(bis.read()), 2, "0"));
                   wS++;
               }
               workString = oldStr + BtS.toString();
 
               if(oldStr.length() == 0)
               {
                   oldStr = workString;
               }else
               {
                   oldStr = workString.substring(workString.length()/2);
               }
 
//regex.....
           }
 
Ähnliche Java Themen
  Titel Forum Antworten Datum
J Große Datei einlesen und gestückelt verarbeiten Allgemeine Java-Themen 4
I Große Datei am effektivsten/performantesten auslesen und auswerten? Allgemeine Java-Themen 6
S große Datei einlesen! Allgemeine Java-Themen 7
B Welcher Datentyp für sehr große Zahlenbereiche? Allgemeine Java-Themen 1
F Große Datenmengen effizient programmieren Allgemeine Java-Themen 51
N Das große O berechnen Allgemeine Java-Themen 2
F Best Practice Große Anzahl an Objekten speichern und lesen Allgemeine Java-Themen 19
R Große Zahlen in Worten abkürzen Allgemeine Java-Themen 10
K Große JSON-Dateien schnell und effizient verarbeiten Allgemeine Java-Themen 16
K Große Mengen an Daten speichern Allgemeine Java-Themen 9
VfL_Freak Große und seltsame Probleme nach Java-Update auf V1.8.0_91 Allgemeine Java-Themen 3
E Best Practice Verdammt große Objekte Allgemeine Java-Themen 10
P Große Datenstruktur im Speicher halten Allgemeine Java-Themen 13
M Einfluss von Caching auf die Performance (große Arrays) Allgemeine Java-Themen 24
U Große Liste von Strings mit indiziertem Zugriff Allgemeine Java-Themen 31
P Datentypen Große Datenmenge Sortiert halten Allgemeine Java-Themen 12
D große Textdatei filtern Allgemeine Java-Themen 13
R POI große Exceldatei schreiben Allgemeine Java-Themen 7
R Dateigestützte Collection für große Datenmengen Allgemeine Java-Themen 5
K Scanner - große Textfile, nur 0 ab betim. Wert Allgemeine Java-Themen 4
trash Das große Problem: .jar Archiv Allgemeine Java-Themen 19
S große CSV-Dateien Importieren. Beste Lösung ?! AWS,S3,Hadoop!? Allgemeine Java-Themen 4
P große double Zahlen und modulo Allgemeine Java-Themen 8
O Große Anzahl Bilder laden Allgemeine Java-Themen 7
A Mit RegEx große Dokumente erfassen Allgemeine Java-Themen 14
X Wie verdammt große Datein öffnen? Allgemeine Java-Themen 2
G Große Datenmengen per JDBC Allgemeine Java-Themen 5
P Große Datenmenge wie speichern (HashMap? TreeMap?) Allgemeine Java-Themen 11
G Große XML-Dateien einlesen und auswerten . Allgemeine Java-Themen 2
P Performance: Ziehen ohne Zurücklegen (große Datenmenge) Allgemeine Java-Themen 10
I JNI - Große Daten übertragen Allgemeine Java-Themen 6
T Große Dateibestände löschen - Speicherproblem Allgemeine Java-Themen 20
S Große ArrayListen Allgemeine Java-Themen 8
J Große Zahl (double) as text ausgeben? Allgemeine Java-Themen 2
S Kleines Eclipse Problem, große Wirkung Allgemeine Java-Themen 7
H Referenzen statt Objekte für große Speicherstrukturen Allgemeine Java-Themen 19
K Große Herausforderung Allgemeine Java-Themen 2
F Zu große Werte beim byteweisen Lesen mit BufferedReader.read Allgemeine Java-Themen 5
D Große Klasse - was fällt euch so ins Auge? Kritik bitte! Allgemeine Java-Themen 10
M Große Dateien laden Allgemeine Java-Themen 2
F Große Dateien schnell einlesen Allgemeine Java-Themen 14
kodela StatusBar-Anzeigen auch in Log-Datei ausgeben Allgemeine Java-Themen 3
G Maven Projekt JAR-Datei Allgemeine Java-Themen 6
E XML - Datei Darstellung in IntelliJ als Baum Allgemeine Java-Themen 2
Thomasneuling Java Jar datei erstellen, von Projekt, dass auch Javafx Dateien, FXML Dateien und CSS Dateien, sowie Bilder enthält? Allgemeine Java-Themen 14
D Erste Schritte Mp3 Datei kann nicht von der Festplatte geöffnet werden - mit ChatGPT erstellt Allgemeine Java-Themen 7
J Filenotfoundexception obwohl Datei existiert Allgemeine Java-Themen 6
M Java Überprüfen ob .exe-Datei bereits ausgeführt wird Allgemeine Java-Themen 2
S .exe Datei/Programm auslesen? Allgemeine Java-Themen 2
E Datei verschoben Event Allgemeine Java-Themen 3
D Datei mit "Kohsuke GitHub API" in Repository hochladen Allgemeine Java-Themen 2
S Bookmark HTML Datei einlesen, alle Links erhalten und manche editieren..? (aktuell JSoup) Allgemeine Java-Themen 4
melaniemueller Einzelne Zeile aus einer txt Datei in einem String speichern Allgemeine Java-Themen 12
G JavaFX Maven Projekt als .exe Datei exportieren Allgemeine Java-Themen 10
J (Geplante) Änderungen an einer Datei vorübergehend speichern und anwenden? Allgemeine Java-Themen 12
Neumi5694 Datei komprimiert Allgemeine Java-Themen 6
_user_q Obfuscate einer .jar-Datei mit ProGuard? Allgemeine Java-Themen 2
_user_q Verknüpfung einer .jar-Datei (liegt z. B. auf dem Desktop) im Autostart-Ordner erstellen? Allgemeine Java-Themen 20
E java mithilfe url .jar datei öffnen Allgemeine Java-Themen 9
E Java .exe Datei mit args starten Allgemeine Java-Themen 2
W Bilder werden in App mit Jar-Datei nicht angezeigt Allgemeine Java-Themen 15
Master3000 Java Datei mehrmals einlesen Allgemeine Java-Themen 4
M Excel Datei Erstellen Allgemeine Java-Themen 2
E Input/Output Eigene Datei mit java öffnen Allgemeine Java-Themen 9
R Sonderzeichen aus Datei einlesen und in Datei ausgeben. Allgemeine Java-Themen 17
Tobero Download .jar von github lädt kaputte Datei runter Allgemeine Java-Themen 3
P Bat Datei in Java ausführen Allgemeine Java-Themen 2
S Verwendet Programmiersprache aus Quellcode - Datei ermitteln Allgemeine Java-Themen 6
T Problem beim Umwandeln in eine Jar-Datei Allgemeine Java-Themen 3
J Jar-Datei ausführen Allgemeine Java-Themen 7
C Outlook msg-Datei Anhänge extrahieren Allgemeine Java-Themen 2
G Datei aus Ordner wählen, ohne den Dateinamen im Pfad angeben zu müssen Allgemeine Java-Themen 4
G Datei senden via Xmodem an Serial-Port Allgemeine Java-Themen 35
C Wav-Datei aus Jar laden? Allgemeine Java-Themen 11
L Best Practice Zip Datei aktualisieren Allgemeine Java-Themen 1
N Speicherort einer Datei im Explorer ändern Allgemeine Java-Themen 8
H Mehrere PNG-Files in einer Datei Allgemeine Java-Themen 9
Gaudimagspam CSV-Datei auslesen in Java Allgemeine Java-Themen 7
S createTempFile erstellt keine temporäre Datei Allgemeine Java-Themen 13
Hatsi09 Jar datei ausführen verursacht NumberFormatException Allgemeine Java-Themen 9
kodela bestimmten Dateityp immer mit jar-Datei öffnen Allgemeine Java-Themen 17
N Arrayliste in eine Datei speichern Allgemeine Java-Themen 4
B .txt Datei erstellen und auslesen bzw. schreiben Allgemeine Java-Themen 6
J Öffnen eine jar-Datei Allgemeine Java-Themen 11
Dann07 MP3 Datei abspielen funktioniert nicht Allgemeine Java-Themen 6
H ArrayListe in CSV Datei speichern Allgemeine Java-Themen 6
O Aus JAR-Datei erstellte EXE-Datei funktioniert nicht Allgemeine Java-Themen 10
N Txt Datei auslesen. Allgemeine Java-Themen 5
B Datei/Ordner auf Server zugreifen/erstellen Allgemeine Java-Themen 2
MiMa Datei verschieben hat einen Fehler?? Allgemeine Java-Themen 20
MiMa Erstellungsdatum einer Datei Allgemeine Java-Themen 10
O xlsx Datei auslesen mit POI Apache liest keine LEERZELLEN Allgemeine Java-Themen 6
P Input/Output entfernte Datei mit Java öffnen ohne Download Allgemeine Java-Themen 5
O xlsx Datei auslesen mit POI von Apache wirft seltsamen Fehler. Allgemeine Java-Themen 11
J Hilfe, Jar Datei kann nicht ausgeführt werden Allgemeine Java-Themen 2
M Programm erkennt String aus .txt Datei nicht Allgemeine Java-Themen 3
O Java-Applikation tut in Netbeans, als JAR nicht, wegen Pfadangaben einer benötigten Datei Allgemeine Java-Themen 8
J Fehlermeldung bei Ausführung von .jar-Datei Allgemeine Java-Themen 9
J Die Letzte Zahl aus einer Text datei lesen Allgemeine Java-Themen 8
Elyt Compiler-Fehler Datei kann nicht erstellt werden. Die Syntax für den Dateinamen etc. ist falsch. Allgemeine Java-Themen 2

Ähnliche Java Themen

Neue Themen


Oben