Cleanup: style, use braces for blenkernel
[blender.git] / source / blender / blenkernel / intern / packedFile.c
1 /*
2  * This program is free software; you can redistribute it and/or
3  * modify it under the terms of the GNU General Public License
4  * as published by the Free Software Foundation; either version 2
5  * of the License, or (at your option) any later version.
6  *
7  * This program is distributed in the hope that it will be useful,
8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
10  * GNU General Public License for more details.
11  *
12  * You should have received a copy of the GNU General Public License
13  * along with this program; if not, write to the Free Software Foundation,
14  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
15  *
16  * The Original Code is Copyright (C) 2001-2002 by NaN Holding BV.
17  * All rights reserved.
18  */
19
20 /** \file
21  * \ingroup bke
22  */
23
24 #include <stdio.h>
25 #include <fcntl.h>
26 #include <sys/stat.h>
27
28 #ifndef WIN32
29 #  include <unistd.h>
30 #else
31 #  include <io.h>
32 #endif
33 #include <string.h>
34 #include "MEM_guardedalloc.h"
35
36 #include "DNA_image_types.h"
37 #include "DNA_ID.h"
38 #include "DNA_packedFile_types.h"
39 #include "DNA_sound_types.h"
40 #include "DNA_vfont_types.h"
41
42 #include "BLI_blenlib.h"
43 #include "BLI_utildefines.h"
44
45 #include "BKE_font.h"
46 #include "BKE_image.h"
47 #include "BKE_main.h"
48 #include "BKE_packedFile.h"
49 #include "BKE_report.h"
50 #include "BKE_sound.h"
51
52 int seekPackedFile(PackedFile *pf, int offset, int whence)
53 {
54   int oldseek = -1, seek = 0;
55
56   if (pf) {
57     oldseek = pf->seek;
58     switch (whence) {
59       case SEEK_CUR:
60         seek = oldseek + offset;
61         break;
62       case SEEK_END:
63         seek = pf->size + offset;
64         break;
65       case SEEK_SET:
66         seek = offset;
67         break;
68       default:
69         oldseek = -1;
70         break;
71     }
72     if (seek < 0) {
73       seek = 0;
74     }
75     else if (seek > pf->size) {
76       seek = pf->size;
77     }
78     pf->seek = seek;
79   }
80
81   return (oldseek);
82 }
83
84 void rewindPackedFile(PackedFile *pf)
85 {
86   seekPackedFile(pf, 0, SEEK_SET);
87 }
88
89 int readPackedFile(PackedFile *pf, void *data, int size)
90 {
91   if ((pf != NULL) && (size >= 0) && (data != NULL)) {
92     if (size + pf->seek > pf->size) {
93       size = pf->size - pf->seek;
94     }
95
96     if (size > 0) {
97       memcpy(data, ((char *)pf->data) + pf->seek, size);
98     }
99     else {
100       size = 0;
101     }
102
103     pf->seek += size;
104   }
105   else {
106     size = -1;
107   }
108
109   return (size);
110 }
111
112 int countPackedFiles(Main *bmain)
113 {
114   Image *ima;
115   VFont *vf;
116   bSound *sound;
117   int count = 0;
118
119   /* let's check if there are packed files... */
120   for (ima = bmain->images.first; ima; ima = ima->id.next) {
121     if (BKE_image_has_packedfile(ima)) {
122       count++;
123     }
124   }
125
126   for (vf = bmain->fonts.first; vf; vf = vf->id.next) {
127     if (vf->packedfile) {
128       count++;
129     }
130   }
131
132   for (sound = bmain->sounds.first; sound; sound = sound->id.next) {
133     if (sound->packedfile) {
134       count++;
135     }
136   }
137
138   return count;
139 }
140
141 void freePackedFile(PackedFile *pf)
142 {
143   if (pf) {
144     MEM_freeN(pf->data);
145     MEM_freeN(pf);
146   }
147   else {
148     printf("freePackedFile: Trying to free a NULL pointer\n");
149   }
150 }
151
152 PackedFile *dupPackedFile(const PackedFile *pf_src)
153 {
154   PackedFile *pf_dst;
155
156   pf_dst = MEM_dupallocN(pf_src);
157   pf_dst->data = MEM_dupallocN(pf_src->data);
158
159   return pf_dst;
160 }
161
162 PackedFile *newPackedFileMemory(void *mem, int memlen)
163 {
164   PackedFile *pf = MEM_callocN(sizeof(*pf), "PackedFile");
165   pf->data = mem;
166   pf->size = memlen;
167
168   return pf;
169 }
170
171 PackedFile *newPackedFile(ReportList *reports, const char *filename, const char *basepath)
172 {
173   PackedFile *pf = NULL;
174   int file, filelen;
175   char name[FILE_MAX];
176   void *data;
177
178   /* render result has no filename and can be ignored
179    * any other files with no name can be ignored too */
180   if (filename[0] == '\0') {
181     return NULL;
182   }
183
184   //XXX waitcursor(1);
185
186   /* convert relative filenames to absolute filenames */
187
188   BLI_strncpy(name, filename, sizeof(name));
189   BLI_path_abs(name, basepath);
190
191   /* open the file
192    * and create a PackedFile structure */
193
194   file = BLI_open(name, O_BINARY | O_RDONLY, 0);
195   if (file == -1) {
196     BKE_reportf(reports, RPT_ERROR, "Unable to pack file, source path '%s' not found", name);
197   }
198   else {
199     filelen = BLI_file_descriptor_size(file);
200
201     if (filelen == 0) {
202       /* MEM_mallocN complains about MEM_mallocN(0, "bla");
203        * we don't care.... */
204       data = MEM_mallocN(1, "packFile");
205     }
206     else {
207       data = MEM_mallocN(filelen, "packFile");
208     }
209     if (read(file, data, filelen) == filelen) {
210       pf = newPackedFileMemory(data, filelen);
211     }
212     else {
213       MEM_freeN(data);
214     }
215
216     close(file);
217   }
218
219   //XXX waitcursor(0);
220
221   return (pf);
222 }
223
224 /* no libraries for now */
225 void packAll(Main *bmain, ReportList *reports, bool verbose)
226 {
227   Image *ima;
228   VFont *vfont;
229   bSound *sound;
230   int tot = 0;
231
232   for (ima = bmain->images.first; ima; ima = ima->id.next) {
233     if (BKE_image_has_packedfile(ima) == false && !ID_IS_LINKED(ima)) {
234       if (ima->source == IMA_SRC_FILE) {
235         BKE_image_packfiles(reports, ima, ID_BLEND_PATH(bmain, &ima->id));
236         tot++;
237       }
238       else if (BKE_image_is_animated(ima) && verbose) {
239         BKE_reportf(reports,
240                     RPT_WARNING,
241                     "Image '%s' skipped, movies and image sequences not supported",
242                     ima->id.name + 2);
243       }
244     }
245   }
246
247   for (vfont = bmain->fonts.first; vfont; vfont = vfont->id.next) {
248     if (vfont->packedfile == NULL && !ID_IS_LINKED(vfont) &&
249         BKE_vfont_is_builtin(vfont) == false) {
250       vfont->packedfile = newPackedFile(reports, vfont->name, BKE_main_blendfile_path(bmain));
251       tot++;
252     }
253   }
254
255   for (sound = bmain->sounds.first; sound; sound = sound->id.next) {
256     if (sound->packedfile == NULL && !ID_IS_LINKED(sound)) {
257       sound->packedfile = newPackedFile(reports, sound->name, BKE_main_blendfile_path(bmain));
258       tot++;
259     }
260   }
261
262   if (tot > 0) {
263     BKE_reportf(reports, RPT_INFO, "Packed %d files", tot);
264   }
265   else if (verbose) {
266     BKE_report(reports, RPT_INFO, "No new files have been packed");
267   }
268 }
269
270 int writePackedFile(ReportList *reports,
271                     const char *ref_file_name,
272                     const char *filename,
273                     PackedFile *pf,
274                     const bool guimode)
275 {
276   int file, number;
277   int ret_value = RET_OK;
278   bool remove_tmp = false;
279   char name[FILE_MAX];
280   char tempname[FILE_MAX];
281   /*      void *data; */
282
283   if (guimode) {
284   }  //XXX  waitcursor(1);
285
286   BLI_strncpy(name, filename, sizeof(name));
287   BLI_path_abs(name, ref_file_name);
288
289   if (BLI_exists(name)) {
290     for (number = 1; number <= 999; number++) {
291       BLI_snprintf(tempname, sizeof(tempname), "%s.%03d_", name, number);
292       if (!BLI_exists(tempname)) {
293         if (BLI_copy(name, tempname) == RET_OK) {
294           remove_tmp = true;
295         }
296         break;
297       }
298     }
299   }
300
301   /* make sure the path to the file exists... */
302   BLI_make_existing_file(name);
303
304   file = BLI_open(name, O_BINARY + O_WRONLY + O_CREAT + O_TRUNC, 0666);
305   if (file == -1) {
306     BKE_reportf(reports, RPT_ERROR, "Error creating file '%s'", name);
307     ret_value = RET_ERROR;
308   }
309   else {
310     if (write(file, pf->data, pf->size) != pf->size) {
311       BKE_reportf(reports, RPT_ERROR, "Error writing file '%s'", name);
312       ret_value = RET_ERROR;
313     }
314     else {
315       BKE_reportf(reports, RPT_INFO, "Saved packed file to: %s", name);
316     }
317
318     close(file);
319   }
320
321   if (remove_tmp) {
322     if (ret_value == RET_ERROR) {
323       if (BLI_rename(tempname, name) != 0) {
324         BKE_reportf(reports,
325                     RPT_ERROR,
326                     "Error restoring temp file (check files '%s' '%s')",
327                     tempname,
328                     name);
329       }
330     }
331     else {
332       if (BLI_delete(tempname, false, false) != 0) {
333         BKE_reportf(reports, RPT_ERROR, "Error deleting '%s' (ignored)", tempname);
334       }
335     }
336   }
337
338   if (guimode) {
339   }  //XXX waitcursor(0);
340
341   return (ret_value);
342 }
343
344 /**
345  * This function compares a packed file to a 'real' file.
346  * It returns an integer indicating if:
347  *
348  * - PF_EQUAL:     the packed file and original file are identical
349  * - PF_DIFFERENT: the packed file and original file differ
350  * - PF_NOFILE:    the original file doesn't exist
351  */
352 int checkPackedFile(const char *ref_file_name, const char *filename, PackedFile *pf)
353 {
354   BLI_stat_t st;
355   int ret_val, i, len, file;
356   char buf[4096];
357   char name[FILE_MAX];
358
359   BLI_strncpy(name, filename, sizeof(name));
360   BLI_path_abs(name, ref_file_name);
361
362   if (BLI_stat(name, &st) == -1) {
363     ret_val = PF_NOFILE;
364   }
365   else if (st.st_size != pf->size) {
366     ret_val = PF_DIFFERS;
367   }
368   else {
369     /* we'll have to compare the two... */
370
371     file = BLI_open(name, O_BINARY | O_RDONLY, 0);
372     if (file == -1) {
373       ret_val = PF_NOFILE;
374     }
375     else {
376       ret_val = PF_EQUAL;
377
378       for (i = 0; i < pf->size; i += sizeof(buf)) {
379         len = pf->size - i;
380         if (len > sizeof(buf)) {
381           len = sizeof(buf);
382         }
383
384         if (read(file, buf, len) != len) {
385           /* read error ... */
386           ret_val = PF_DIFFERS;
387           break;
388         }
389         else {
390           if (memcmp(buf, ((char *)pf->data) + i, len)) {
391             ret_val = PF_DIFFERS;
392             break;
393           }
394         }
395       }
396
397       close(file);
398     }
399   }
400
401   return (ret_val);
402 }
403
404 /**
405  * unpackFile() looks at the existing files (abs_name, local_name) and a packed file.
406  *
407  * It returns a char *to the existing file name / new file name or NULL when
408  * there was an error or when the user decides to cancel the operation.
409  *
410  * \warning 'abs_name' may be relative still! (use a "//" prefix) be sure to run #BLI_path_abs on it first.
411  */
412 char *unpackFile(ReportList *reports,
413                  const char *ref_file_name,
414                  const char *abs_name,
415                  const char *local_name,
416                  PackedFile *pf,
417                  int how)
418 {
419   char *newname = NULL;
420   const char *temp = NULL;
421
422   if (pf != NULL) {
423     switch (how) {
424       case -1:
425       case PF_KEEP:
426         break;
427       case PF_REMOVE:
428         temp = abs_name;
429         break;
430       case PF_USE_LOCAL: {
431         char temp_abs[FILE_MAX];
432
433         BLI_strncpy(temp_abs, local_name, sizeof(temp_abs));
434         BLI_path_abs(temp_abs, ref_file_name);
435
436         /* if file exists use it */
437         if (BLI_exists(temp_abs)) {
438           temp = local_name;
439           break;
440         }
441         /* else create it */
442         ATTR_FALLTHROUGH;
443       }
444       case PF_WRITE_LOCAL:
445         if (writePackedFile(reports, ref_file_name, local_name, pf, 1) == RET_OK) {
446           temp = local_name;
447         }
448         break;
449       case PF_USE_ORIGINAL: {
450         char temp_abs[FILE_MAX];
451
452         BLI_strncpy(temp_abs, abs_name, sizeof(temp_abs));
453         BLI_path_abs(temp_abs, ref_file_name);
454
455         /* if file exists use it */
456         if (BLI_exists(temp_abs)) {
457           BKE_reportf(reports, RPT_INFO, "Use existing file (instead of packed): %s", abs_name);
458           temp = abs_name;
459           break;
460         }
461         /* else create it */
462         ATTR_FALLTHROUGH;
463       }
464       case PF_WRITE_ORIGINAL:
465         if (writePackedFile(reports, ref_file_name, abs_name, pf, 1) == RET_OK) {
466           temp = abs_name;
467         }
468         break;
469       default:
470         printf("unpackFile: unknown return_value %d\n", how);
471         break;
472     }
473
474     if (temp) {
475       newname = BLI_strdup(temp);
476     }
477   }
478
479   return newname;
480 }
481
482 static void unpack_generate_paths(const char *name,
483                                   ID *id,
484                                   char *r_abspath,
485                                   char *r_relpath,
486                                   size_t abspathlen,
487                                   size_t relpathlen)
488 {
489   char tempname[FILE_MAX];
490   char tempdir[FILE_MAXDIR];
491
492   BLI_split_dirfile(name, tempdir, tempname, sizeof(tempdir), sizeof(tempname));
493
494   if (tempname[0] == '\0') {
495     /* Note: we do not have any real way to re-create extension out of data... */
496     BLI_strncpy(tempname, id->name + 2, sizeof(tempname));
497     printf("%s\n", tempname);
498     BLI_filename_make_safe(tempname);
499     printf("%s\n", tempname);
500   }
501
502   if (tempdir[0] == '\0') {
503     /* Fallback to relative dir. */
504     BLI_strncpy(tempdir, "//", sizeof(tempdir));
505   }
506
507   switch (GS(id->name)) {
508     case ID_VF:
509       BLI_snprintf(r_relpath, relpathlen, "//fonts/%s", tempname);
510       break;
511     case ID_SO:
512       BLI_snprintf(r_relpath, relpathlen, "//sounds/%s", tempname);
513       break;
514     case ID_IM:
515       BLI_snprintf(r_relpath, relpathlen, "//textures/%s", tempname);
516       break;
517     default:
518       break;
519   }
520
521   {
522     size_t len = BLI_strncpy_rlen(r_abspath, tempdir, abspathlen);
523     BLI_strncpy(r_abspath + len, tempname, abspathlen - len);
524   }
525 }
526
527 int unpackVFont(Main *bmain, ReportList *reports, VFont *vfont, int how)
528 {
529   char localname[FILE_MAX], absname[FILE_MAX];
530   char *newname;
531   int ret_value = RET_ERROR;
532
533   if (vfont != NULL) {
534     unpack_generate_paths(
535         vfont->name, (ID *)vfont, absname, localname, sizeof(absname), sizeof(localname));
536     newname = unpackFile(
537         reports, BKE_main_blendfile_path(bmain), absname, localname, vfont->packedfile, how);
538     if (newname != NULL) {
539       ret_value = RET_OK;
540       freePackedFile(vfont->packedfile);
541       vfont->packedfile = NULL;
542       BLI_strncpy(vfont->name, newname, sizeof(vfont->name));
543       MEM_freeN(newname);
544     }
545   }
546
547   return (ret_value);
548 }
549
550 int unpackSound(Main *bmain, ReportList *reports, bSound *sound, int how)
551 {
552   char localname[FILE_MAX], absname[FILE_MAX];
553   char *newname;
554   int ret_value = RET_ERROR;
555
556   if (sound != NULL) {
557     unpack_generate_paths(
558         sound->name, (ID *)sound, absname, localname, sizeof(absname), sizeof(localname));
559     newname = unpackFile(
560         reports, BKE_main_blendfile_path(bmain), absname, localname, sound->packedfile, how);
561     if (newname != NULL) {
562       BLI_strncpy(sound->name, newname, sizeof(sound->name));
563       MEM_freeN(newname);
564
565       freePackedFile(sound->packedfile);
566       sound->packedfile = NULL;
567
568       BKE_sound_load(bmain, sound);
569
570       ret_value = RET_OK;
571     }
572   }
573
574   return (ret_value);
575 }
576
577 int unpackImage(Main *bmain, ReportList *reports, Image *ima, int how)
578 {
579   int ret_value = RET_ERROR;
580
581   if (ima != NULL) {
582     while (ima->packedfiles.last) {
583       char localname[FILE_MAX], absname[FILE_MAX];
584       char *newname;
585       ImagePackedFile *imapf = ima->packedfiles.last;
586
587       unpack_generate_paths(
588           imapf->filepath, (ID *)ima, absname, localname, sizeof(absname), sizeof(localname));
589       newname = unpackFile(
590           reports, BKE_main_blendfile_path(bmain), absname, localname, imapf->packedfile, how);
591
592       if (newname != NULL) {
593         ImageView *iv;
594
595         ret_value = ret_value == RET_ERROR ? RET_ERROR : RET_OK;
596         freePackedFile(imapf->packedfile);
597         imapf->packedfile = NULL;
598
599         /* update the new corresponding view filepath */
600         iv = BLI_findstring(&ima->views, imapf->filepath, offsetof(ImageView, filepath));
601         if (iv) {
602           BLI_strncpy(iv->filepath, newname, sizeof(imapf->filepath));
603         }
604
605         /* keep the new name in the image for non-pack specific reasons */
606         if (how != PF_REMOVE) {
607           BLI_strncpy(ima->name, newname, sizeof(imapf->filepath));
608         }
609         MEM_freeN(newname);
610       }
611       else {
612         ret_value = RET_ERROR;
613       }
614
615       BLI_remlink(&ima->packedfiles, imapf);
616       MEM_freeN(imapf);
617     }
618   }
619
620   if (ret_value == RET_OK) {
621     BKE_image_signal(bmain, ima, NULL, IMA_SIGNAL_RELOAD);
622   }
623
624   return (ret_value);
625 }
626
627 int unpackLibraries(Main *bmain, ReportList *reports)
628 {
629   Library *lib;
630   char *newname;
631   int ret_value = RET_ERROR;
632
633   for (lib = bmain->libraries.first; lib; lib = lib->id.next) {
634     if (lib->packedfile && lib->name[0]) {
635
636       newname = unpackFile(reports,
637                            BKE_main_blendfile_path(bmain),
638                            lib->filepath,
639                            lib->filepath,
640                            lib->packedfile,
641                            PF_WRITE_ORIGINAL);
642       if (newname != NULL) {
643         ret_value = RET_OK;
644
645         printf("Unpacked .blend library: %s\n", newname);
646
647         freePackedFile(lib->packedfile);
648         lib->packedfile = NULL;
649
650         MEM_freeN(newname);
651       }
652     }
653   }
654
655   return (ret_value);
656 }
657
658 void packLibraries(Main *bmain, ReportList *reports)
659 {
660   Library *lib;
661
662   /* test for relativenss */
663   for (lib = bmain->libraries.first; lib; lib = lib->id.next) {
664     if (!BLI_path_is_rel(lib->name)) {
665       break;
666     }
667   }
668
669   if (lib) {
670     BKE_reportf(reports, RPT_ERROR, "Cannot pack absolute file: '%s'", lib->name);
671     return;
672   }
673
674   for (lib = bmain->libraries.first; lib; lib = lib->id.next) {
675     if (lib->packedfile == NULL) {
676       lib->packedfile = newPackedFile(reports, lib->name, BKE_main_blendfile_path(bmain));
677     }
678   }
679 }
680
681 void unpackAll(Main *bmain, ReportList *reports, int how)
682 {
683   Image *ima;
684   VFont *vf;
685   bSound *sound;
686
687   for (ima = bmain->images.first; ima; ima = ima->id.next) {
688     if (BKE_image_has_packedfile(ima)) {
689       unpackImage(bmain, reports, ima, how);
690     }
691   }
692
693   for (vf = bmain->fonts.first; vf; vf = vf->id.next) {
694     if (vf->packedfile) {
695       unpackVFont(bmain, reports, vf, how);
696     }
697   }
698
699   for (sound = bmain->sounds.first; sound; sound = sound->id.next) {
700     if (sound->packedfile) {
701       unpackSound(bmain, reports, sound, how);
702     }
703   }
704 }
705
706 /* ID should be not NULL, return 1 if there's a packed file */
707 bool BKE_pack_check(ID *id)
708 {
709   switch (GS(id->name)) {
710     case ID_IM: {
711       Image *ima = (Image *)id;
712       return BKE_image_has_packedfile(ima);
713     }
714     case ID_VF: {
715       VFont *vf = (VFont *)id;
716       return vf->packedfile != NULL;
717     }
718     case ID_SO: {
719       bSound *snd = (bSound *)id;
720       return snd->packedfile != NULL;
721     }
722     case ID_LI: {
723       Library *li = (Library *)id;
724       return li->packedfile != NULL;
725     }
726     default:
727       break;
728   }
729   return false;
730 }
731
732 /* ID should be not NULL */
733 void BKE_unpack_id(Main *bmain, ID *id, ReportList *reports, int how)
734 {
735   switch (GS(id->name)) {
736     case ID_IM: {
737       Image *ima = (Image *)id;
738       if (BKE_image_has_packedfile(ima)) {
739         unpackImage(bmain, reports, ima, how);
740       }
741       break;
742     }
743     case ID_VF: {
744       VFont *vf = (VFont *)id;
745       if (vf->packedfile) {
746         unpackVFont(bmain, reports, vf, how);
747       }
748       break;
749     }
750     case ID_SO: {
751       bSound *snd = (bSound *)id;
752       if (snd->packedfile) {
753         unpackSound(bmain, reports, snd, how);
754       }
755       break;
756     }
757     case ID_LI: {
758       Library *li = (Library *)id;
759       BKE_reportf(reports, RPT_ERROR, "Cannot unpack individual Library file, '%s'", li->name);
760       break;
761     }
762     default:
763       break;
764   }
765 }