große jpeg verarbeiten

[bone2]

gibt es eine möglichkeit große jpegs (3stellige megapixel) zu verarbeiten (verkleinern) ohne out of memory zu kommen?

mehr als 1 gb bekommt die vm nicht, auf dem pc auf der converter läuft.

hatte an ausschnittsweises laden gedacht oder direkt nur durchstreamen, aber bin auch mit google noch auf keine lösung gekommen.
meine vermutung ist jetzt natürlich, das man auf grund der art wie jpeg komprimiert werden, unmöglich teile laden kann, ohne das gesamtbild zu kennen

ein anderer ansatz, den ich gefunden habe, war das jpegs anschienend aus 4 ebenen entstehen (rgb + helligkeit), die einzeln zu laden habe ich allerdings auch nirgends gefunden.

 

[Evil-Devil]

Wenn ich das auf Wikipedia richtig lese, dann wird ein JPG immer in Blöcken von zb. 8x8 Pixeln abgespeichert. Allerdings ist es imho eine Farce ein JPG im dreistelligen Megapixel Bereich mit nur 1GB Speicher bearbeiten zu wollen. Wenn man bedenkt das Photoshop bereits als absolutes Arbeitsminimum 2GB erfordert und man 4, 8 oder gar 16GB als Grafiker zur Verfügung gestellt bekommt sofern es die Arbeit erfordert.

Wenn ich mich gerade nicht verrechnet habe, dann benötigt ein Bild das aus 1 Million Pixeln in Höhe und Breite bei 24bit (8Bit pro Farbkanal) läppische 2,728 Terabyte an Rohdatenspeicher.

Bist du sicher das deine Bilder im dreistelligen Megapixel Bereich liegen? Bzw. welche Ausmaße haben die Bilder und wie viel dpi?

 

[bone2]

circa 18k² ~ 350MPixel

ich weiß das 1 GB dafür zuwenig ist, deshalb bin ich ja auf der suche nach eventuellen umwegen.

gerade noch Java Image I/O API Guide: 3 - Writing Image I/O Applications gefunden, mal schaun ob das geht
javafx image, das angeblich beim laden schon verkleinert um ram zu sparen, geht auch oom

 

[AquaBall]

Ich weiß nicht genau wo mein Fehler liegt,
aber ein normales 5MegaPixelBild benötigt als durchschnittlich komprimiertes JPG ca 1 MeagByte.
mit 100facher Größe ergeben dann 500MPx ca 100MB.
Da sollte doch genügend Platz sein.

Bei RAW-Daten säh's natürlich ganz anders aus, aber offensichtlich liegt eh ein JPG vor.

Natürlich ist einfacher, wenn die blockweise eingelesen werden können.
Aber da weiß ich nichts drüber.

 

[Evil-Devil]

Also ausgehend von 18k*18k*3 hättest du ~926MB an Pixelrohdaten. Die passen in 1GB rein rechnerisch hinein

Und RAM kriegt man hinterher geworfen...
Ich würde ehrlich anstatt lange auf eine evtl. aufwändige/kostenspielige Programmierung liebe ~20€ für ein paar GB RAM in die Hand nehmen und selbigen kaufen.

[edit]
@Aquaball: Afaik liegt ein Bild nachdem es geladen wurde immer als RAW im Speicher
[/edit]

 

[HimBromBeere]

Ich bilde mir ein, JPEG kennt auch sowas wie Pyramiden (oder war das nur im TIFF?). Vlcht, helfen die dir auch schon... Das sind kleine Mini-Bilder (sowas ähnliches wie die "Fingernägel") mit geringerer Auflösung.

 

[vimar]

Tutorial Quick Start - BoofCV

vllt hilft das ja? mfg

 

[bone2]

hat sich erledigt, python kann das schneller, besser und ohne ram

 

[bone2]

hm nachdem es einmal erledigt war, kann man nicht mehr editieren?!

param.setSourceSubsampling(x, y, 0, 0)

erledigt den trick auch unter java, 324 Mpixel Bild mit nur 70MB ram verkleinert

    public static void main(String[] args) throws IOException {
        Iterator readers = ImageIO.getImageReadersByFormatName("jpeg");
        ImageReader reader = (ImageReader)readers.next();

        ImageInputStream iis = ImageIO.createImageInputStream(new File("e:/temp/583001.jpg"));
        reader.setInput(iis, true);
        ImageReadParam param = reader.getDefaultReadParam();
        int imageIndex = 0;
        int half_width = reader.getWidth(imageIndex);
        int half_height = reader.getHeight(imageIndex);

        int sampling = half_width / (512*2);
        System.out.println(sampling);
        param.setSourceSubsampling(sampling, sampling, 0, 0);
        BufferedImage bi = reader.read(imageIndex, param);

        Image img = bi.getScaledInstance(512, 512, Image.SCALE_SMOOTH);

        bi = new BufferedImage(512, 512, BufferedImage.TYPE_INT_RGB);
        Graphics g = bi.getGraphics();
        g.drawImage(img, 0, 0, null);
        g.dispose();


        writeImageToJPG(new File("b.jpg"), bi);
    }


    public static void writeImageToJPG (File file,BufferedImage bufferedImage)
       throws IOException {
        Iterator iter = ImageIO.getImageWritersByFormatName("jpeg");
        ImageWriter writer = (ImageWriter)iter.next();
        // instantiate an ImageWriteParam object with default compression options
        ImageWriteParam iwp = writer.getDefaultWriteParam();

        iwp.setCompressionMode(ImageWriteParam.MODE_EXPLICIT);
        iwp.setCompressionQuality(1);   // an integer between 0 and 1
        // 1 specifies minimum compression and maximum quality


        FileImageOutputStream output = new FileImageOutputStream(file);
        writer.setOutput(output);
        IIOImage image = new IIOImage(bufferedImage, null, null);
        writer.write(null, image, iwp);
        writer.dispose();
    }