Problem mit GZIP-Komprimierung

[Marco01_809]

Hallo Java-Forum,

ich bin noch recht neu in Java, hab vorher in PHP programmiert und da sich ja alle modernen Sprachen ein wenig ähneln wurde mir der "Umstieg" erleichtert. Mache z.Z. einen Java Video Kurs.
Das hat nun alles wenig mit meinem Problem zu tun, also das hier ist mein Code:

import java.io.BufferedOutputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.Random;
import java.util.zip.GZIPOutputStream;

public class LevelGen {

	public static void main(String... args) {
		if (args.length < 3) {
			System.out.println("Not enough program arguments. Need 3, have "
					+ args.length + "!");
			System.exit(2);
		}

		short x = Short.parseShort(args[0]);
		short y = Short.parseShort(args[1]);
		short z = Short.parseShort(args[2]);
		System.out.println("Generating new World; x:" + x + " y:" + y + " z:"
				+ z);
		long blocks = x * y * z;
		System.out.println("Generating " + blocks + " blocks...");

		Random rand = new Random();
		String map = "x:" + x + ";y:" + y + ";z:" + z + ";";
		
		long generatedBlocks = 0;
		int percent = 0;
		byte nextPercent = 0;
		
		for (int xi = 0; xi < x; xi++) {
			for (int yi = 0; yi < y; yi++) {
				for (int zi = 0; zi < z; zi++) {
					map += xi + ":" + yi + ":" + zi + ":" + rand.nextInt(49)
							+ ";";
					generatedBlocks++;
					percent = (int)(generatedBlocks / (float)blocks * 100);
					if (percent >= nextPercent) {
						System.out.println(percent + "% - Generated blocks: " + generatedBlocks);
						nextPercent += 5;
					}
				}
			}
		}

		try {
			BufferedOutputStream out = new BufferedOutputStream(
					new GZIPOutputStream(new FileOutputStream("test.map.txt.gz")));
			char[] map2 = map.toCharArray();
			for (int i = 0; i < map2.length; i++) {
				out.write(map2[i]);
			}
		} catch (IOException e) {
			System.out.println("Caugth IOException!");
		}
		System.out.println("Done!");
	}
}

Ich programmiere in Eclipse Helios und habe eben nur das "Default Package" benutzt.
Jetzt mal abgesehen davon das der Code wahrscheinlich sehr schlecht ist und zudem auch noch seehr langsam...

Dieser Code braucht 3 Argumente. Diese repräsentieren Breite (x), Höhe (y) und Länge (z).
Nun soll das Programm eine "Welt" generieren. Das wird folgendermaßen gemacht:
Zuerst wird in "map" gepeichert: "x:<x>;y:<y>;z:<z>;". Das ist die Größenangabe der "Welt".
Danach werden die "Blöcke" der Welt generiert. Dazu hab ich mir eine Prozentanzeige gecodet (da ich ein sehr ungeduldiger Mensch bin und wenigstens wissen muss wieweit ich immerhin schon bin).
Die Blöcke werden folgendermaßen gespeichert: "x:y:z:block;" <block> steht für eine Block-Id (von 0 bis 49). Was diese Blöcke sind ist ja egal, ist ja sowieso nur Random.
Dann wird das ganze GZIP-komprimiert in "test.map.txt.gz" geschrieben. Das funktioniert alles ohne Fehler.
Aber will ich nun die GZ-Datei entpacken (nicht in Java, mit z.B. 7-Zip), dann bleibt er bei 78% (immer genau da) stehen und sagt die Datei wäre fehlerhaft. Die 78% die er schon entpack hat sind vollkommen korrekt und entsprechen meiner gedachten Syntax. Wenn ich das ganze ohne GZIP-Komprimierung speichere, funktioniert es natürlich. Aber 400 KB für 32768 Blöcke D) sind mir zu viel. Mit GZIP ist die Datei nur noch 100 KB groß. Außerdem zeigt mir 7-Zip an, die im *.gz-Pack enthaltene "Test.map.txt" wäre zw. 2 GB und 4.5 GB (variiert immer) groß.

Wieso?
Wäre auch nett wenn ihr mir einige Tipps gibt wie man den Code verbessern kann

Und btw: Das ganze ist nur zur Übung.

Hab eben die *.class, den Source und eine Bat zum starten in einer zip hochgeladen.

 

[preachie]

Du solltest auf jeden Fall den Stream closen (out.close()), das könnte schon das Problem beheben, da ansonsten evtl. nicht der komplette Inhalt weggeschrieben wird.

 

[Marco01_809]

Vielen Dank, das wars Schon.
Schöne Weihnachten

 

[Marco01_809]

Mein aktueller Source Code sieht nun so aus:

import java.io.BufferedOutputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.Random;
import java.util.zip.GZIPOutputStream;

public class LevelGen {

	public static void main(String... args) {
		if (args.length < 3) {
			System.out.println("Not enough program arguments. Need 3, have "
					+ args.length + "!");
			System.exit(2);
		}

		short x = Short.parseShort(args[0]);
		short y = Short.parseShort(args[1]);
		short z = Short.parseShort(args[2]);
		System.out.println("Generating new World; x:" + x + " y:" + y + " z:"
				+ z);
		long blocks = x * y * z;
		System.out.println("Generating " + blocks + " blocks...");

		Random rand = new Random();

		long generatedBlocks = 0;
		byte percent = 0;
		byte nextPercent = 0;

		try {
			BufferedOutputStream out = new BufferedOutputStream(
					new GZIPOutputStream(
							new FileOutputStream("test.map.txt.gz")));

			String map = x + ":" + y + ":" + z;
			for (char c : map.toCharArray())
				out.write(c);

			for (int xi = 0; xi < x; xi++) {
				for (int yi = 0; yi < y; yi++) {
					for (int zi = 0; zi < z; zi++) {
						if (rand.nextInt(2) == 1) {
							out.write(58); // 58 = ":"
							for (char c : String.valueOf(rand.nextInt(49)).toCharArray())
								out.write(c);
						} else {
							out.write(58); // 58 = ":"
							out.write(48); // 48 = "0"
						}
						
						generatedBlocks++;
						percent = (byte) (generatedBlocks / (float) blocks * 100);
						if (percent >= nextPercent) {
							System.out.println(percent
									+ "% - Generated blocks: "
									+ generatedBlocks);
							nextPercent += 5;
						}
					}
				}
			}
			out.close();
		} catch (IOException e) {
			System.out.println("Caugth IOException!");
			System.exit(3);
		}
		System.out.println("Done!");
	}
}

Es funktioniert jetzt tadellos, der Code ist nun dank des Umbaus viel schneller. Eine 32*32*32 Welt generiert sich nun in null komma nichts. Hab die Dateigröße auch noch einmal geviertelt. (Dadurch das ich die X-Y-Z koordinaten weglasse, und nur noch die Block-ID's in die Datei schreibe).

Trotzdem wird die Datei bei einer 512*128*512 Blöcke großen Welt über 20 MB groß.
Vielleicht kennt ja jemand Minecraft. Minecraft Serversoftware's schaffen es ja auch 512*128*512 Blöcke in etwa 1,2 MB (bei zugebauter Welt) - 20 KB (unbebaute leere Welt) zu halten. (Ebenfalls mit GZIP soweit ich weiß).

Die Block-Id "0" soll Luft sein, also nichts. Der Standart.

Wie bekomme ich die Datei noch kleiner? Ich wüsste jetzt nur das ich die Block-ID's von Luft nicht in die Datei schreibe, dann müsste ich aber wieder die Koordinaten reinschreiben.

Bitte gebt mir auch noch ein paar Hinweise wenn der Code schlecht ist und wie man ihn verbessern kann, Gruß Marco.

Vielen Dank und Frohe Weihnachten.

EDIT: Mir ist jetzt erst aufgefallen das ich gerade einen Doppelpost gemacht habe. xD

 

[AlexSpritze]

Ahoi,

ich hab mir deinen Code mal angeschaut. Unten siehst ein paar Veränderungen, wie ich es machen würde. Das heißt, ich habe es selber nicht getestet, ob das so funktioniert. Aber mit dem StringBuilder würdest du zum Beispiel erstmal Daten sammeln bevor du sie in die Datei schreibst. Vielleicht geht es so auch ohne die For-Schleifen über die toCharArrays schneller Und dass das out.close() in einem finally-Block steht, bewirkt, dass das close() (out!=null natürlich) immer aufgerufen wird.

       PrintWriter out = null;
       try {
            out = new PrintWriter(
                    new GZIPOutputStream(
                            new FileOutputStream("test.map.txt.gz")));
 
            StringBuilder sb = new StringBuilder(x).append(":").append(y).append(":").append(z);
            //for (char c : map.toCharArray())
            //    out.write(c);
			out.print(sb.toString());

            for (int xi = 0; xi < x; xi++) {
				sb = new StringBuilder(4096);
                for (int yi = 0; yi < y; yi++) {
                    for (int zi = 0; zi < z; zi++) {
                        if (rand.nextInt(2) == 1) {
                            sb.append(":"); // 58 = ":"
                            //for (char c : String.valueOf(rand.nextInt(49)).toCharArray())
                            //    out.write(c);
							sb.append(rand.nextInt(49));
                        } else {
						
                            //out.write(58); // 58 = ":"
                            //out.write(48); // 48 = "0"
							sb.append(":0");
                        }
                        
                        generatedBlocks++;
                        percent = (byte) (generatedBlocks / (float) blocks * 100);
                        if (percent >= nextPercent) {
                            System.out.println(percent
                                    + "% - Generated blocks: "
                                    + generatedBlocks);
                            nextPercent += 5;
                        }
                    }
                }
                out.print(sb.toString());
				out.flush();
            }
			System.out.println("Done!");
        } catch (IOException e) {
            System.out.println("Caugth IOException!");
            // System.exit(3); // System.exit(...) sollte normalerweise nicht aufgerufen werden; macht sich z.B. schlecht beim Debuggen, wenn die VM dann einfach beendet wird ;)
        } finally{
		  if(out != null) {
		    out.close();
		  }
		}