Großes Problem mit dem Lesen großer Datenmengen

[Angel]

hi leute, bitte helft mir, ich bin nahe der Verzweiflung icon_sad.gif

Grunddeklarationen der gesamten Methode:

Code:

       public void ByteReader(String fname)
      {
        int[] buffer;
        StringBuffer sb;
        //FileInputStream filein=null;
        BufferedInputStream filein=null;
        String temp=null;
        int i = 0;
        long actime, sectime, gesamt=0;
        int länge=10;

        try
        {
          filein = new BufferedInputStream(new FileInputStream(fname));
          //....dannach die unteren Methoden (sind unten nur Ausschnitte der wichtigsten Elemente)

folgendes:

ich habe eine Methode, die Dateien bis zu ca. 3 MB in einem rutsch liest, die charzeichen durch andere ersetzt und die datei neuschreibt --> funzt wunderbar!

die veränderte datei lässt sich wieder problemlos in den Orginalzustand portieren, bevor sie verändert wurde, was ja auch das Ziel ist.

Code:

              buffer = new int[ (int) (new File(fname)).length() + 1];
              sb = new StringBuffer(buffer.length);
              actime = System.currentTimeMillis();

              while ( (buffer[i] = filein.read()) != -1) // Datei einlesen
              {
                sb.append((char)buffer[i]);
                i++;
              }
              filein.close();

              sectime = System.currentTimeMillis();
              gesamt=gesamt+(sectime-actime);
              System.out.println("Bytereader: " + (sectime-actime) + " ms");

              actime = System.currentTimeMillis();
              temp = sb.toString();
              sectime = System.currentTimeMillis();
              gesamt=gesamt+(sectime-actime);
              System.out.println("Stringbuffer lesen: " + (sectime-actime) + " ms");

              if (filemodus.equals("filever"))
              {
                actime = System.currentTimeMillis();

                result=co.encode(temp,tfcode.getText()); // Byte bzw. char für char durch ein anderes char ersetzen

                sectime = System.currentTimeMillis();
                gesamt=gesamt+(sectime-actime);
                System.out.println("Datei verschlüsselt: " + (sectime-actime) + " ms");


                actime = System.currentTimeMillis();

                ByteWriter(fname, result); // Veränderte Daten schreiben

                sectime = System.currentTimeMillis();
                gesamt=gesamt+(sectime-actime);
                System.out.println("Datei gespeichert: " + (sectime-actime) + " ms");
              }

Problem:

bei größeren Dateien kommt bei der Methode nat. ein "outofmemoryerror" (mit dem Standardheap von 64MB). Um das zu umgehen, habe ich ne Methode geschrieben, die die Datei in kleinen Häppchen umwandeln soll und die veränderten daten in ein 2. file immer anhängt.

zumindest ist hier die Datei größe mit dem Orginal bytegenau.

ABER:

ich habe hier offentsichtlich ein Problem in bezug auf das casten von byte zu char, denn die Daten von der veränderten datei sind bei der portierung zurück zu den Orginaldaten nicht mehr dem orginal entsprechend.

wenn die veränderte datei erneut eingelesen wird, liefert das byte-array werte im minusbereich zurück, was nat. mit char (Wertebereich 0-255) nicht kompatibel ist und der ganze String nur noch aus eckigen Kästchen besteht.

Hier die Methode zum verändern der datei:

Code:

                actime = System.currentTimeMillis();
                while ( (len = filein.read(buf)) > 0)
                {
                  sb = new StringBuffer(länge);
                 
                  for (i=0;i<buf.length;i++)
                  {
                    if (buf[i] != 0)
                      sb.append((char)buf[i]);
                  }

                  temp = sb.toString();
                  result=co.encode(temp,tfcode.getText());
                 
                  for (i = 0; i < result.length(); i++)
                  {
                    fout.write((char)result.charAt(i));
                  }
                  sb = null;
                  buf = new byte[länge];
                }
                sectime = System.currentTimeMillis();
                gesamt=gesamt+(sectime-actime);

und hier diese, um die daten wieder in den vorhergehenden Orginalzustand zu bekommen:

Code:

                actime = System.currentTimeMillis();
                while ( (len = filein.read(buf)) > 0)
                {
                  sb = new StringBuffer(länge);

                  for (i=0;i<buf.length;i++)
                  {
                    if (buf[i] != 0)
                      sb.append((char)buf[i]);
                  }

                  temp = sb.toString();
                  result=co.decode(temp,tfcode.getText());
                 
                  for (i = 0; i < result.length(); i++)
                  {
                    fout.write( (char) (result.charAt(i)));
                  }
                  sb = null;
                  buf = new byte[länge];
                }
                sectime = System.currentTimeMillis();
                gesamt=gesamt+(sectime-actime);

Ich hoffe ihr habt ne idee an was es liegt, denn ich weiß echt nicht mehr weiter icon_scratch.gif

Danke im Vorraus......

 

[Beni]

was nat. mit char (Wertebereich 0-255) nicht kompatibel

Der Char ist 16 Bits lang, nicht 8. Deshalb kann man einen char nicht auf ein byte abbilden, ohne was zu verlieren. Nimm einen int oder einen short, das sollte gehen.

mfg Beni

 

[Angel]

EDIT:

danke, aber wie soll ich dann die Daten nach und nach auslesen? die Methode erwartet dafür ein Byte-Array ???:L

 

[Beni]

Also, dann brauchst du noch was, das short in bytes umwandelt (und zurück):

Ich hab mal das Ding hier geschrieben (und ein bisschen von DataOutputStream abgeguckt).

	public static final byte[] toByte ( short s ){
		byte[] b = new byte[2];
		
		b[0] = toByte( (s >>> 8) & 0xFF);
		b[1] = toByte( (s >>> 0) & 0xFF);
        return b;
	}
	public static final short toShort ( byte [] data ){
		int ch1 = toInt( data[0] );
		int ch2 = toInt( data[1] );
                
		return (short)((ch1 << 8) + (ch2 << 0));
	}
	
	public static byte toByte( int i ){
		if( i > 127 )
			return (byte)( i - 256 );
		else
			return (byte)i;
	}
	public static int toInt( byte b ){
		if( b >= 0 )
			return b;
		else
			return b+256;
	}

Das funktioniert für alle Shorts, und für Ints könnte man es leicht erweitern.

 

[Angel]

hey ich danke dir wie verrückt, sieht aber auch total kompliziert aus, ich denke hier wäre ich wieder mit meinen mathe-fähigkeiten hängengeblieben, danke dir, echt super hier :wink:

EDIT:

eine Frage nur noch:

ich habe jetzt ein Feld mit short gebildet und wollte dann das umgewandelte Array "buf" in das short Feld schreiben.

short[] buf2 = new short[länge];

buf2=toShort(buf);

das geht allerdings nicht.

und wenn ich:

toShort(buf);

alleine hinschreib bringts ja auch nix.

es mag zwar blöd klingen aber wie benutze ich die Methoden richtig? :bahnhof:

danke dir noch mal :wink:

 

[Beni]

Also du willst den short in ein Array schreiben? Dann geht das so:

short[] array = ...
array[4] = toShort( byteBuffer ); // hier wird der umgewandelte short an den Index 4 im Array geschrieben

Vielleicht hilft dir auch das hier.

mfg Beni

 

[Angel]

jetzt scheints zu funzen, allerdings benutze ich jetzt ein int-array und die Methode toInt()

dannnkkkkeee :wink:

 

[Angel]

mist, ich muss widerrufen, es klappt nicht korrekt, und zwar hängt mein Prob jetzt wieder woanders

ich wollte eine PDF (15,9 MB (16.719.670 Bytes)) umwandeln.

beim verändern kamen 15,7 MB (16.565.962 Bytes) raus, und beim rückportieren zum orginal sollte ja eigentlich wieder die 15,9 MB rauskommen (bei schritt 2 sollten ebenfalls die 15,9 MB erhalten bleiben), aber es kam das raus:

15,7 MB (16.501.033 Bytes)

Warum gehen bei jedem Schritt kontinuierlich bytes verloren?:bahnhof:

klappt da irgendwas mit der Konvertierung noch nicht?

Ich habe leider bei solchen sachen überhaupt keinen plan, sorry.

die Variable länge ist momentan auf 4096 gesetzt, also es werden in 4096er Schritten die Daten ausgelesen.

Ist aber auch egal auf was ich die Variable setze, das ändert nix am Ergebnis.

---------------------------------------------------------------------------------------

so sieht der Code momentan aus:

if (loadsavemodus.equals("file"))
          {
            if (((int) (new File(fname)).length() + 1) > 3000000)
            {
              BufferedOutputStream fout = new BufferedOutputStream(new FileOutputStream(fname+".tmp",true));

              byte[] buf = new byte[länge];
              int[] buf2 = new int[länge];
              int len;

              if (filemodus.equals("filever"))
              {
                actime = System.currentTimeMillis();
                while ( (len = filein.read(buf)) > 0)
                {
                  sb = new StringBuffer(länge);
                  
                  for (i=0;i<buf.length;i++)
                  {
                    if (buf[i] != 0)
                    {
                      buf2[i] = toInt(buf[i]); // hier geschieht die Umwandlung von Byte zu Int
                      sb.append((char)buf2[i]); //hier wird das umgewandelte Byte zu Int nach char gecastet
                    }
                  }

                  temp = sb.toString();
                  result=co.encode(temp,tfcode.getText());

                  for (i = 0; i < result.length(); i++)
                  {
                    fout.write((char)result.charAt(i));
                  }
                  sb = null;
                  buf = new byte[länge];
                  buf2 = new int[länge];
                }
                sectime = System.currentTimeMillis();
                gesamt=gesamt+(sectime-actime);
              }
              else
              {
                actime = System.currentTimeMillis();
                while ( (len = filein.read(buf)) > 0)
                {
                  sb = new StringBuffer(länge);
                  
                  for (i=0;i<buf.length;i++)
                  {
                    if (buf[i] != 0)
                    {
                      buf2[i] = toInt(buf[i]); // hier geschieht die Umwandlung von Byte zu Int
                      sb.append((char)buf2[i]); //hier wird das umgewandelte Byte zu Int nach char gecastet
                    }
                  }

                  temp = sb.toString();
                  result=co.decode(temp,tfcode.getText());

                  for (i = 0; i < result.length(); i++)
                  {
                    fout.write( (char) (result.charAt(i)));
                  }
                  sb = null;
                  buf = new byte[länge];
                  buf2 = new int[länge];
                }
                sectime = System.currentTimeMillis();
                gesamt=gesamt+(sectime-actime);
              }

              filein.close();
              fout.close();

EDIT:

habe die 2 Dateien mit dem Hex-Editor verglichen:

Vom Anfang an schreibt er genau 99 Bytes richtig, dann folgt nur noch Schrott....

(im Hexformat ist der Bereich 0x00-0xC5 korrekt = 99 Bytes wenn ich mich nicht vertan habe)

 

[Beni]

Also die Methode "toInt" löscht einfach die ersten 3 Bytes, aus welchen ein Integer besteht. Es ist nuneinmal nicht möglich einen char in ein byte umzuwandeln, es müssen 2 Bytes sein (weil 1 Byte zuwenige Informationen tragen kann). Da hilft auch der Umweg über den Integer nichts.

Der InputStream liefert auch nur einzelne Bytes, nur verpackt er sie in einem Integer, da man mit Integer schneller rechnen kann.

Ich vermute, du benötigst dann eher was in die Richtung

             buf2[i] = (char)toShort(buf[i], buf[i+1]);// Dieser Code wird so nicht funktionieren, ist nur eine Andeutung

Aber eigentlich solltest du dem filein doch einen Integer-Array übergeben (so ist die Methode doch beschrieben). Das viele Casten kann Bits verschieben, ohne dass du es bemerkst (das Vorzeichen-Bit hat eine Spezialbehandlung).

Ich denke du solltest mal dieses Kapitel lesen, und deinen Code nocheinmal schreiben. (Es wird langsam ein bisschen viel herumgebastel :wink: )

Grüsse Beni

 

[Angel]

puhhhhh, mein gott is das kompliziert, wer hat das bloß erfunden *g*

danke noch mal und ich lese erst mal :wink:

aber eins noch:

Aber eigentlich solltest du dem filein doch einen Integer-Array übergeben (so ist die Methode doch beschrieben).

eben nicht, ich würde ja gerne ein int übergeben, dann hätte ich diese ganzen Sorgen nicht, nur die Methode erwartet eben als Parameter einzig und allein byte [] b.

Das is ja das doofe und ich habe auch keine andere idee, wie ich sonst die Datei in kleinen Häppchen auslesen soll.

is eben alles doof....

 

[Beni]

Stimmt, man schreibt int's, aber liest byte's.

Das verwirrt ja ganz gehörig...

 

[Angel]

Stimmt, man schreibt int's, aber liest byte's.

Das verwirrt ja ganz gehörig...

wie jetzt? ich hab DICH, den großen Javameister verwirrt? :lol:

oder war das jetzt sarkastisch gemeint, weil ich wohl leider gottes zu dämlich dafür bin? :wink:

 

[Roar]

öhm. ich hab zwar jetzt nicht den ganzen beitrag verfolgt aber wieso liest du deine datei nicht einfach int-weise aus? read() in java.io.Reader gibt dir einen int zurück ???:L
oder geht das bei dir nicht?

 

[Beni]

Stimmt, man schreibt int's, aber liest byte's.

Das verwirrt ja ganz gehörig...

wie jetzt? ich hab DICH, den großen Javameister verwirrt? :lol:

oder war das jetzt sarkastisch gemeint, weil ich wohl leider gottes zu dämlich dafür bin? :wink:

Nein... das hat mich verwirrt. Ich würde niemals ein Forumsmitglied beleidigen (es sei denn, er hört es nicht :wink: ).

 

[Angel]

öhm. ich hab zwar jetzt nicht den ganzen beitrag verfolgt aber wieso liest du deine datei nicht einfach int-weise aus? read() in java.io.Reader gibt dir einen int zurück ???:L
oder geht das bei dir nicht?

*heul*

das steht oben:

            while ( (buffer[i] = filein.read()) != -1) // Datei einlesen 
              { 
                sb.append((char)buffer[i]); 
                i++; 
              } 
              filein.close();

das benutze ich bei kleinen dateien. klappt auch wunderbar.

nur bei großen dateien geht das nicht wegen outofmemoryerror und ich will den Heap nicht hochsetzen, mal davon abgesehen das das nicht wirklich helfen würde, da auch dort grenzen gesetzt sind.

deshalb will ich die datei in kleinen Häppchen lesen und schreiben, nur das funzt eben nicht wegen dieser blöden typumwandlung.

und wenn ich die datei stückchenweise auslesen will, erwartet die Methode eben nun mal ein Byte-Array

und da liegt der Hund begraben :x


@Beni:

ok *ggg*

übrigens hab ichs jetzt so probiert (wie in Javainsel beschrieben):

Mit einer ähnlichen Arbeitsweise können wir auch die Frage lösen, wie sich ein Byte, dessen Integerwert im Minusbereich liegt, in ein char konvertieren lässt. Der erste Ansatz über eine Typumwandlung (char)byte ist falsch, und auf der Ausgabe dürfte nur ein rechteckiges Kästchen oder ein Fragezeichen erscheinen:

byte b = (byte) 'ß';
System.out.println( (char) b ); // Ausgabe ist ?

Das Dilemma ist wieder die fehlerhafte Vorzeichenanpassung. Bei der Benutzung des Bytes wird es zuerst in ein int konvertiert. Das »ß« wird dann zu -33. Im nächsten Schritt wird diese -33 dann zu einem char umgesetzt. Das ergibt 65503, was einen Unicode-Bereich trifft, der zurzeit kein Zeichen definiert. Es wird wohl auch noch etwas dauern, bis die ersten Außerirdischen uns neue Zeichensätze schenken. Gelöst wird der Fall wie oben, in dem von b nur die unteren acht Bits betrachtet werden. Das geschieht wieder durch ein Ausblenden über den Und-Operator. Damit ergibt sich korrekt:

char c = (char) (b & 0x00ff);

nun sieht die Methode so aus (Ausschnitt):

                while ( (len = filein.read(buf)) > 0)
                {
                  sb = new StringBuffer(länge);
                  
                  for (i=0;i<buf.length;i++)
                  {
                    if (buf[i] != 0)
                    {
                      //buf2[i] = toInt(buf[i]);
                      c = (char) (buf[i] & 0x00ff);
                      sb.append(c);
                    }
                  }

                  temp = sb.toString();
                  result=co.encode(temp,tfcode.getText());

                  for (i = 0; i < result.length(); i++)
                  {
                    fout.write((char)result.charAt(i));
                  }
                  sb = null;
                  buf = new byte[länge];
                  //buf2 = new int[länge];
                }

nun schreibt er mehr richtig bytes, aber irgendwann tritt auch hier wieder der Effekt auf, es dauert nur etwas länger.

Also ist ja das bspl. im Buch irgendwie auch nicht korrekt oder?

 

[Beni]

Was bedeutet "irgendwann"? Ist es immer an derselben Stelle? Dann kannst du versuchen, herauszufinden, welche Codestelle sich zu diesem Zeitpunkt anders verhält als sonst (Debugger oder viele System.out.println's). Vielleicht ein komisches Zeichen im Dokument an dieser Stelle?

Keine grosse Hilfe, ich weiss.

 

[Angel]

ich würde dir gerne mal ne mail schicken, hab einen Screenshot gemacht und den bearbeitet, wo man das ganze deutlich im Vergleich sehen kann. Habe leider nur keinen FTP wo ich das draufhauen könnte und hier gehts ja leider nicht anzuhängen :wink:

mit der buchmethode ist es jetzt immer die gleiche stelle, mit der anderen vorigen methode gleich am anfang, aber auch die gleichen stellen, es verwirrt micht total ???:L

jetzt tritt das prob auf bei:

Orginal ist es ein Hex-Value 00c8 d.h. "." (das E hat obendrüber noch so ein komisches ding, lässt sich hier nicht reinkopieren)

in der Kopie ist daraus ein c888 (er hat die 00 also rausgeschnitten und macht gleich mit c8 weiter)

geworden.

sprich der hat so wies aussieht einen Punkt einfach weggelassen und macht dann mit den nächsten weiter. und das passiert dann immer und immer wieder bis dann letztlich gar nix mehr stimmt.

also es scheint so, als würde der HexWert 00 immer weggelassen werden....

EDIT:

Problem gefunden, arbeite an Lösung....