Fix buffer overflows in TIFF, PNG, IRIS, DPX, HDR and AVI loading.
[blender.git] / source / blender / imbuf / intern / tiff.c
index 30dc61544b479b030fbe450cf3903d9c245842a9..afd28bb570b0195dfa35f4038be9f4496b3d90ea 100644 (file)
@@ -36,7 +36,7 @@
  * high-level routine that loads all images as 32-bit RGBA, handling all the
  * required conversions between many different TIFF types internally.
  * 
- * Saving supports RGB, RGBA and BW (greyscale) images correctly, with
+ * Saving supports RGB, RGBA and BW (grayscale) images correctly, with
  * 8 bits per channel in all cases.  The "deflate" compression algorithm is
  * used to compress images.
  */
 #include "imbuf.h"
 
 #include "BLI_math.h"
-#include "BLI_string.h"
 #include "BLI_utildefines.h"
  
 #include "BKE_global.h"
 
-
 #include "IMB_imbuf_types.h"
 #include "IMB_imbuf.h"
 
-#include "IMB_allocimbuf.h"
 #include "IMB_filetype.h"
-#include "IMB_filter.h"
 
-#include "tiffio.h"
+#include "IMB_colormanagement.h"
+#include "IMB_colormanagement_intern.h"
 
+#include "tiffio.h"
 
+#ifdef WIN32
+#include "utfconv.h"
+#endif
 
 /***********************
  * Local declarations. *
@@ -78,9 +79,9 @@ static void    imb_tiff_DummyUnmapProc(thandle_t fd, tdata_t base, toff_t size);
 
 /* Structure for in-memory TIFF file. */
 typedef struct ImbTIFFMemFile {
-       unsigned char *mem; /* Location of first byte of TIFF file. */
-       toff_t offset;      /* Current offset within the file.      */
-       tsize_t size;       /* Size of the TIFF file.               */
+       const unsigned char *mem;   /* Location of first byte of TIFF file. */
+       toff_t offset;              /* Current offset within the file.      */
+       tsize_t size;               /* Size of the TIFF file.               */
 } ImbTIFFMemFile;
 #define IMB_TIFF_GET_MEMFILE(x) ((ImbTIFFMemFile *)(x))
 
@@ -111,7 +112,7 @@ static int imb_tiff_DummyMapProc(thandle_t fd, tdata_t *pbase, toff_t *psize)
  * Reads data from an in-memory TIFF file.
  *
  * \param handle: Handle of the TIFF file (pointer to ImbTIFFMemFile).
- * \param data:   Buffer to contain data (treat as void*).
+ * \param data:   Buffer to contain data (treat as (void *)).
  * \param n:      Number of bytes to read.
  *
  * \return: Number of bytes actually read.
@@ -273,7 +274,7 @@ static toff_t imb_tiff_SizeProc(thandle_t handle)
        return (toff_t)(mfile->size);
 }
 
-static TIFF *imb_tiff_client_open(ImbTIFFMemFile *memFile, unsigned char *mem, size_t size)
+static TIFF *imb_tiff_client_open(ImbTIFFMemFile *memFile, const unsigned char *mem, size_t size)
 {
        /* open the TIFF client layer interface to the in-memory file */
        memFile->mem = mem;
@@ -303,16 +304,16 @@ static TIFF *imb_tiff_client_open(ImbTIFFMemFile *memFile, unsigned char *mem, s
  * hence my manual comparison. - Jonathan Merritt (lancelet) 4th Sept 2005.
  */
 #define IMB_TIFF_NCB 4      /* number of comparison bytes used */
-int imb_is_a_tiff(unsigned char *mem)
+int imb_is_a_tiff(const unsigned char *mem)
 {
        char big_endian[IMB_TIFF_NCB] = { 0x4d, 0x4d, 0x00, 0x2a };
        char lil_endian[IMB_TIFF_NCB] = { 0x49, 0x49, 0x2a, 0x00 };
 
-       return ( (memcmp(big_endian, mem, IMB_TIFF_NCB) == 0) ||
-                (memcmp(lil_endian, mem, IMB_TIFF_NCB) == 0) );
+       return ((memcmp(big_endian, mem, IMB_TIFF_NCB) == 0) ||
+               (memcmp(lil_endian, mem, IMB_TIFF_NCB) == 0));
 }
 
-static void scanline_contig_16bit(float *rectf, unsigned short *sbuf, int scanline_w, int spp)
+static void scanline_contig_16bit(float *rectf, const unsigned short *sbuf, int scanline_w, int spp)
 {
        int i;
        for (i = 0; i < scanline_w; i++) {
@@ -323,7 +324,7 @@ static void scanline_contig_16bit(float *rectf, unsigned short *sbuf, int scanli
        }
 }
 
-static void scanline_contig_32bit(float *rectf, float *fbuf, int scanline_w, int spp)
+static void scanline_contig_32bit(float *rectf, const float *fbuf, int scanline_w, int spp)
 {
        int i;
        for (i = 0; i < scanline_w; i++) {
@@ -334,14 +335,14 @@ static void scanline_contig_32bit(float *rectf, float *fbuf, int scanline_w, int
        }
 }
 
-static void scanline_separate_16bit(float *rectf, unsigned short *sbuf, int scanline_w, int chan)
+static void scanline_separate_16bit(float *rectf, const unsigned short *sbuf, int scanline_w, int chan)
 {
        int i;
        for (i = 0; i < scanline_w; i++)
                rectf[i * 4 + chan] = sbuf[i] / 65535.0;
 }
 
-static void scanline_separate_32bit(float *rectf, float *fbuf, int scanline_w, int chan)
+static void scanline_separate_32bit(float *rectf, const float *fbuf, int scanline_w, int chan)
 {
        int i;
        for (i = 0; i < scanline_w; i++)
@@ -373,9 +374,9 @@ static void imb_read_tiff_resolution(ImBuf *ibuf, TIFF *image)
  * This method is most flexible and can handle multiple different bit depths 
  * and RGB channel orderings.
  */
-static int imb_read_tiff_pixels(ImBuf *ibuf, TIFF *image, int premul)
+static int imb_read_tiff_pixels(ImBuf *ibuf, TIFF *image)
 {
-       ImBuf *tmpibuf;
+       ImBuf *tmpibuf = NULL;
        int success = 0;
        short bitspersample, spp, config;
        size_t scanline;
@@ -387,6 +388,23 @@ static int imb_read_tiff_pixels(ImBuf *ibuf, TIFF *image, int premul)
        TIFFGetField(image, TIFFTAG_SAMPLESPERPIXEL, &spp);     /* number of 'channels' */
        TIFFGetField(image, TIFFTAG_PLANARCONFIG, &config);
 
+       if (spp == 4) {
+               /* HACK: this is really tricky hack, which is only needed to force libtiff
+                *       do not touch RGB channels when there's alpha channel present
+                *       The thing is: libtiff will premul RGB if alpha mode is set to
+                *       unassociated, which really conflicts with blender's assumptions
+                *
+                *       Alternative would be to unpremul after load, but it'll be really
+                *       lossy and unwanted behavior
+                *
+                *       So let's keep this thing here for until proper solution is found (sergey)
+                */
+
+               unsigned short extraSampleTypes[1];
+               extraSampleTypes[0] = EXTRASAMPLE_ASSOCALPHA;
+               TIFFSetField(image, TIFFTAG_EXTRASAMPLES, 1, extraSampleTypes);
+       }
+
        imb_read_tiff_resolution(ibuf, image);
 
        scanline = TIFFScanlineSize(image);
@@ -394,16 +412,25 @@ static int imb_read_tiff_pixels(ImBuf *ibuf, TIFF *image, int premul)
        if (bitspersample == 32) {
                ib_flag = IB_rectfloat;
                fbuf = (float *)_TIFFmalloc(scanline);
+               if (!fbuf) {
+                       goto cleanup;
+               }
        }
        else if (bitspersample == 16) {
                ib_flag = IB_rectfloat;
                sbuf = (unsigned short *)_TIFFmalloc(scanline);
+               if (!sbuf) {
+                       goto cleanup;
+               }
        }
        else {
                ib_flag = IB_rect;
        }
        
        tmpibuf = IMB_allocImBuf(ibuf->x, ibuf->y, ibuf->planes, ib_flag);
+       if (!tmpibuf) {
+               goto cleanup;
+       }
        
        /* simple RGBA image */
        if (!(bitspersample == 32 || bitspersample == 16)) {
@@ -412,7 +439,7 @@ static int imb_read_tiff_pixels(ImBuf *ibuf, TIFF *image, int premul)
        /* contiguous channels: RGBRGBRGB */
        else if (config == PLANARCONFIG_CONTIG) {
                for (row = 0; row < ibuf->y; row++) {
-                       int ib_offset = ibuf->x * ibuf->y * 4 - ibuf->x * 4 * (row + 1);
+                       size_t ib_offset = (size_t)ibuf->x * 4 * ((size_t)ibuf->y - ((size_t)row + 1));
                
                        if (bitspersample == 32) {
                                success |= TIFFReadScanline(image, fbuf, row, 0);
@@ -432,11 +459,11 @@ static int imb_read_tiff_pixels(ImBuf *ibuf, TIFF *image, int premul)
                 * but only fill in from the TIFF scanline where necessary. */
                for (chan = 0; chan < 4; chan++) {
                        for (row = 0; row < ibuf->y; row++) {
-                               int ib_offset = ibuf->x * ibuf->y * 4 - ibuf->x * 4 * (row + 1);
+                               size_t ib_offset = (size_t)ibuf->x * 4 * ((size_t)ibuf->y - ((size_t)row + 1));
                                
                                if (bitspersample == 32) {
                                        if (chan == 3 && spp == 3) /* fill alpha if only RGB TIFF */
-                                               fill_vn_fl(fbuf, ibuf->x, 1.0f);
+                                               copy_vn_fl(fbuf, ibuf->x, 1.0f);
                                        else if (chan >= spp) /* for grayscale, duplicate first channel into G and B */
                                                success |= TIFFReadScanline(image, fbuf, row, 0);
                                        else
@@ -446,7 +473,7 @@ static int imb_read_tiff_pixels(ImBuf *ibuf, TIFF *image, int premul)
                                }
                                else if (bitspersample == 16) {
                                        if (chan == 3 && spp == 3) /* fill alpha if only RGB TIFF */
-                                               fill_vn_ushort(sbuf, ibuf->x, 65535);
+                                               copy_vn_ushort(sbuf, ibuf->x, 65535);
                                        else if (chan >= spp) /* for grayscale, duplicate first channel into G and B */
                                                success |= TIFFReadScanline(image, fbuf, row, 0);
                                        else
@@ -457,23 +484,12 @@ static int imb_read_tiff_pixels(ImBuf *ibuf, TIFF *image, int premul)
                        }
                }
        }
-       
-       if (bitspersample == 32)
-               _TIFFfree(fbuf);
-       else if (bitspersample == 16)
-               _TIFFfree(sbuf);
 
        if (success) {
-               ibuf->profile = (bitspersample == 32) ? IB_PROFILE_LINEAR_RGB : IB_PROFILE_SRGB;
-
-//             Code seems to be not needed for 16 bits tif, on PPC G5 OSX (ton)
+               /* Code seems to be not needed for 16 bits tif, on PPC G5 OSX (ton) */
                if (bitspersample < 16)
                        if (ENDIAN_ORDER == B_ENDIAN)
                                IMB_convert_rgba_to_abgr(tmpibuf);
-               if (premul) {
-                       IMB_premultiply_alpha(tmpibuf);
-                       ibuf->flags |= IB_premul;
-               }
                
                /* assign rect last */
                if (tmpibuf->rect_float)
@@ -486,6 +502,12 @@ static int imb_read_tiff_pixels(ImBuf *ibuf, TIFF *image, int premul)
                tmpibuf->mall &= ~ib_flag;
        }
 
+cleanup:
+       if (bitspersample == 32)
+               _TIFFfree(fbuf);
+       else if (bitspersample == 16)
+               _TIFFfree(sbuf);
+
        IMB_freeImBuf(tmpibuf);
        
        return success;
@@ -508,7 +530,7 @@ void imb_inittiff(void)
  *
  * \return: A newly allocated ImBuf structure if successful, otherwise NULL.
  */
-ImBuf *imb_loadtiff(unsigned char *mem, size_t size, int flags)
+ImBuf *imb_loadtiff(const unsigned char *mem, size_t size, int flags, char colorspace[IM_MAX_SPACE])
 {
        TIFF *image = NULL;
        ImBuf *ibuf = NULL, *hbuf;
@@ -518,6 +540,7 @@ ImBuf *imb_loadtiff(unsigned char *mem, size_t size, int flags)
        int level;
        short spp;
        int ib_depth;
+       int found;
 
        /* check whether or not we have a TIFF file */
        if (size < IMB_TIFF_NCB) {
@@ -527,6 +550,9 @@ ImBuf *imb_loadtiff(unsigned char *mem, size_t size, int flags)
        if (imb_is_a_tiff(mem) == 0)
                return NULL;
 
+       /* both 8 and 16 bit PNGs are default to standard byte colorspace */
+       colorspace_set_default_role(colorspace, IM_MAX_SPACE, COLOR_ROLE_DEFAULT_BYTE);
+
        image = imb_tiff_client_open(&memFile, mem, size);
 
        if (image == NULL) {
@@ -543,7 +569,7 @@ ImBuf *imb_loadtiff(unsigned char *mem, size_t size, int flags)
        
        ibuf = IMB_allocImBuf(width, height, ib_depth, 0);
        if (ibuf) {
-               ibuf->ftype = TIF;
+               ibuf->ftype = IMB_FTYPE_TIF;
        }
        else {
                fprintf(stderr, 
@@ -553,6 +579,19 @@ ImBuf *imb_loadtiff(unsigned char *mem, size_t size, int flags)
                return NULL;
        }
 
+       /* get alpha mode from file header */
+       if (flags & IB_alphamode_detect) {
+               if (spp == 4) {
+                       unsigned short extra, *extraSampleTypes;
+
+                       found = TIFFGetField(image, TIFFTAG_EXTRASAMPLES, &extra, &extraSampleTypes);
+
+                       if (found && (extraSampleTypes[0] == EXTRASAMPLE_ASSOCALPHA)) {
+                               ibuf->flags |= IB_alphamode_premul;
+                       }
+               }
+       }
+
        /* if testing, we're done */
        if (flags & IB_test) {
                TIFFClose(image);
@@ -565,7 +604,7 @@ ImBuf *imb_loadtiff(unsigned char *mem, size_t size, int flags)
                format = NULL;
                TIFFGetField(image, TIFFTAG_PIXAR_TEXTUREFORMAT, &format);
 
-               if (format && strcmp(format, "Plain Texture") == 0 && TIFFIsTiled(image)) {
+               if (format && STREQ(format, "Plain Texture") && TIFFIsTiled(image)) {
                        int numlevel = TIFFNumberOfDirectories(image);
 
                        /* create empty mipmap levels in advance */
@@ -581,9 +620,6 @@ ImBuf *imb_loadtiff(unsigned char *mem, size_t size, int flags)
                                        hbuf->miplevel = level;
                                        hbuf->ftype = ibuf->ftype;
                                        ibuf->mipmap[level - 1] = hbuf;
-
-                                       if (flags & IB_premul)
-                                               hbuf->flags |= IB_premul;
                                }
                                else
                                        hbuf = ibuf;
@@ -604,7 +640,7 @@ ImBuf *imb_loadtiff(unsigned char *mem, size_t size, int flags)
        }
 
        /* read pixels */
-       if (!(ibuf->flags & IB_tilecache) && !imb_read_tiff_pixels(ibuf, image, 0)) {
+       if (!(ibuf->flags & IB_tilecache) && !imb_read_tiff_pixels(ibuf, image)) {
                fprintf(stderr, "imb_loadtiff: Failed to read tiff image.\n");
                TIFFClose(image);
                return NULL;
@@ -617,7 +653,7 @@ ImBuf *imb_loadtiff(unsigned char *mem, size_t size, int flags)
        return ibuf;
 }
 
-void imb_loadtiletiff(ImBuf *ibuf, unsigned char *mem, size_t size, int tx, int ty, unsigned int *rect)
+void imb_loadtiletiff(ImBuf *ibuf, const unsigned char *mem, size_t size, int tx, int ty, unsigned int *rect)
 {
        TIFF *image = NULL;
        uint32 width, height;
@@ -640,9 +676,6 @@ void imb_loadtiletiff(ImBuf *ibuf, unsigned char *mem, size_t size, int tx, int
                                if (TIFFReadRGBATile(image, tx * ibuf->tilex, (ibuf->ytiles - 1 - ty) * ibuf->tiley, rect) == 1) {
                                        if (ibuf->tiley > ibuf->y)
                                                memmove(rect, rect + ibuf->tilex * (ibuf->tiley - ibuf->y), sizeof(int) * ibuf->tilex * ibuf->y);
-
-                                       if (ibuf->flags & IB_premul)
-                                               IMB_premultiply_rect(rect, 32, ibuf->tilex, ibuf->tiley);
                                }
                                else
                                        printf("imb_loadtiff: failed to read tiff tile at mipmap level %d\n", ibuf->miplevel);
@@ -685,8 +718,7 @@ int imb_savetiff(ImBuf *ibuf, const char *name, int flags)
        float *fromf = NULL;
        float xres, yres;
        int x, y, from_i, to_i, i;
-       int extraSampleTypes[1] = { EXTRASAMPLE_ASSOCALPHA };
-       
+       int compress_mode = COMPRESSION_NONE;
 
        /* check for a valid number of bytes per pixel.  Like the PNG writer,
         * the TIFF writer supports 1, 3 or 4 bytes per pixel, corresponding
@@ -699,11 +731,18 @@ int imb_savetiff(ImBuf *ibuf, const char *name, int flags)
                return (0);
        }
 
-       if ((ibuf->ftype & TIF_16BIT) && ibuf->rect_float)
+       if ((ibuf->foptions.flag & TIF_16BIT) && ibuf->rect_float)
                bitspersample = 16;
        else
                bitspersample = 8;
 
+       if (ibuf->foptions.flag & TIF_COMPRESS_DEFLATE)
+               compress_mode = COMPRESSION_DEFLATE;
+       else if (ibuf->foptions.flag & TIF_COMPRESS_LZW)
+               compress_mode = COMPRESSION_LZW;
+       else if (ibuf->foptions.flag & TIF_COMPRESS_PACKBITS)
+               compress_mode = COMPRESSION_PACKBITS;
+
        /* open TIFF file for writing */
        if (flags & IB_mem) {
                /* bork at the creation of a TIFF in memory */
@@ -714,7 +753,13 @@ int imb_savetiff(ImBuf *ibuf, const char *name, int flags)
        }
        else {
                /* create image as a file */
+#ifdef WIN32
+               wchar_t *wname = alloc_utf16_from_8(name, 0);
+               image = TIFFOpenW(wname, "w");
+               free(wname);
+#else
                image = TIFFOpen(name, "w");
+#endif
        }
        if (image == NULL) {
                fprintf(stderr,
@@ -753,6 +798,13 @@ int imb_savetiff(ImBuf *ibuf, const char *name, int flags)
        TIFFSetField(image, TIFFTAG_SAMPLESPERPIXEL, samplesperpixel);
 
        if (samplesperpixel == 4) {
+               unsigned short extraSampleTypes[1];
+
+               if (bitspersample == 16)
+                       extraSampleTypes[0] = EXTRASAMPLE_ASSOCALPHA;
+               else
+                       extraSampleTypes[0] = EXTRASAMPLE_UNASSALPHA;
+
                /* RGBA images */
                TIFFSetField(image, TIFFTAG_EXTRASAMPLES, 1,
                             extraSampleTypes);
@@ -765,27 +817,56 @@ int imb_savetiff(ImBuf *ibuf, const char *name, int flags)
                             PHOTOMETRIC_RGB);
        }
        else if (samplesperpixel == 1) {
-               /* greyscale images, 1 channel */
+               /* grayscale images, 1 channel */
                TIFFSetField(image, TIFFTAG_PHOTOMETRIC,
                             PHOTOMETRIC_MINISBLACK);
        }
 
        /* copy pixel data.  While copying, we flip the image vertically. */
+       const int channels_in_float = ibuf->channels ? ibuf->channels : 4;
        for (x = 0; x < ibuf->x; x++) {
                for (y = 0; y < ibuf->y; y++) {
-                       from_i = 4 * (y * ibuf->x + x);
+                       from_i = ((size_t)channels_in_float) * (y * ibuf->x + x);
                        to_i   = samplesperpixel * ((ibuf->y - y - 1) * ibuf->x + x);
 
                        if (pixels16) {
                                /* convert from float source */
                                float rgb[4];
-                               
-                               if (ibuf->profile == IB_PROFILE_LINEAR_RGB)
-                                       linearrgb_to_srgb_v3_v3(rgb, &fromf[from_i]);
-                               else
-                                       copy_v3_v3(rgb, &fromf[from_i]);
 
-                               rgb[3] = fromf[from_i + 3];
+                               if (channels_in_float == 3 || channels_in_float == 4) {
+                                       if (ibuf->float_colorspace ||
+                                           (ibuf->colormanage_flag & IMB_COLORMANAGE_IS_DATA))
+                                       {
+                                               /* Float buffer was managed already, no need in color
+                                                * space conversion.
+                                                */
+                                               copy_v3_v3(rgb, &fromf[from_i]);
+                                       }
+                                       else {
+                                               /* Standard linear-to-srgb conversion if float buffer
+                                                * wasn't managed.
+                                                */
+                                               linearrgb_to_srgb_v3_v3(rgb, &fromf[from_i]);
+                                       }
+                                       if (channels_in_float == 4) {
+                                               rgb[3] = fromf[from_i + 3];
+                                       }
+                                       else {
+                                               rgb[3] = 1.0f;
+                                       }
+                               }
+                               else {
+                                       if (ibuf->float_colorspace ||
+                                           (ibuf->colormanage_flag & IMB_COLORMANAGE_IS_DATA))
+                                       {
+                                               rgb[0] = fromf[from_i];
+                                       }
+                                       else {
+                                               rgb[0] = linearrgb_to_srgb(fromf[from_i]);
+                                       }
+                                       rgb[1] = rgb[2] = rgb[0];
+                                       rgb[3] = 1.0f;
+                               }
 
                                for (i = 0; i < samplesperpixel; i++, to_i++)
                                        to16[to_i] = FTOUSHORT(rgb[i]);
@@ -801,7 +882,7 @@ int imb_savetiff(ImBuf *ibuf, const char *name, int flags)
        TIFFSetField(image, TIFFTAG_IMAGEWIDTH,      ibuf->x);
        TIFFSetField(image, TIFFTAG_IMAGELENGTH,     ibuf->y);
        TIFFSetField(image, TIFFTAG_ROWSPERSTRIP,    ibuf->y);
-       TIFFSetField(image, TIFFTAG_COMPRESSION, COMPRESSION_DEFLATE);
+       TIFFSetField(image, TIFFTAG_COMPRESSION, compress_mode);
        TIFFSetField(image, TIFFTAG_FILLORDER, FILLORDER_MSB2LSB);
        TIFFSetField(image, TIFFTAG_PLANARCONFIG, PLANARCONFIG_CONTIG);
 
@@ -819,7 +900,7 @@ int imb_savetiff(ImBuf *ibuf, const char *name, int flags)
        TIFFSetField(image, TIFFTAG_RESOLUTIONUNIT,  RESUNIT_INCH);
        if (TIFFWriteEncodedStrip(image, 0,
                                  (bitspersample == 16) ? (unsigned char *)pixels16 : pixels,
-                                 ibuf->x * ibuf->y * samplesperpixel * bitspersample / 8) == -1)
+                                 (size_t)ibuf->x * ibuf->y * samplesperpixel * bitspersample / 8) == -1)
        {
                fprintf(stderr,
                        "imb_savetiff: Could not write encoded TIFF.\n");