Revert "UI: use correct singular and plural nouns in report messages"
[blender.git] / source / blender / blenkernel / intern / packedFile.c
1 /*
2  * This program is free software; you can redistribute it and/or
3  * modify it under the terms of the GNU General Public License
4  * as published by the Free Software Foundation; either version 2
5  * of the License, or (at your option) any later version.
6  *
7  * This program is distributed in the hope that it will be useful,
8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
10  * GNU General Public License for more details.
11  *
12  * You should have received a copy of the GNU General Public License
13  * along with this program; if not, write to the Free Software Foundation,
14  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
15  *
16  * The Original Code is Copyright (C) 2001-2002 by NaN Holding BV.
17  * All rights reserved.
18  */
19
20 /** \file
21  * \ingroup bke
22  */
23
24 #include <stdio.h>
25 #include <fcntl.h>
26 #include <sys/stat.h>
27
28 #ifndef WIN32
29 #  include <unistd.h>
30 #else
31 #  include <io.h>
32 #endif
33 #include <string.h>
34 #include "MEM_guardedalloc.h"
35
36 #include "DNA_image_types.h"
37 #include "DNA_ID.h"
38 #include "DNA_packedFile_types.h"
39 #include "DNA_sound_types.h"
40 #include "DNA_vfont_types.h"
41
42 #include "BLI_blenlib.h"
43 #include "BLI_utildefines.h"
44
45 #include "BKE_font.h"
46 #include "BKE_image.h"
47 #include "BKE_main.h"
48 #include "BKE_packedFile.h"
49 #include "BKE_report.h"
50 #include "BKE_sound.h"
51
52 int BKE_packedfile_seek(PackedFile *pf, int offset, int whence)
53 {
54   int oldseek = -1, seek = 0;
55
56   if (pf) {
57     oldseek = pf->seek;
58     switch (whence) {
59       case SEEK_CUR:
60         seek = oldseek + offset;
61         break;
62       case SEEK_END:
63         seek = pf->size + offset;
64         break;
65       case SEEK_SET:
66         seek = offset;
67         break;
68       default:
69         oldseek = -1;
70         break;
71     }
72     if (seek < 0) {
73       seek = 0;
74     }
75     else if (seek > pf->size) {
76       seek = pf->size;
77     }
78     pf->seek = seek;
79   }
80
81   return (oldseek);
82 }
83
84 void BKE_packedfile_rewind(PackedFile *pf)
85 {
86   BKE_packedfile_seek(pf, 0, SEEK_SET);
87 }
88
89 int BKE_packedfile_read(PackedFile *pf, void *data, int size)
90 {
91   if ((pf != NULL) && (size >= 0) && (data != NULL)) {
92     if (size + pf->seek > pf->size) {
93       size = pf->size - pf->seek;
94     }
95
96     if (size > 0) {
97       memcpy(data, ((char *)pf->data) + pf->seek, size);
98     }
99     else {
100       size = 0;
101     }
102
103     pf->seek += size;
104   }
105   else {
106     size = -1;
107   }
108
109   return (size);
110 }
111
112 int BKE_packedfile_count_all(Main *bmain)
113 {
114   Image *ima;
115   VFont *vf;
116   bSound *sound;
117   int count = 0;
118
119   /* let's check if there are packed files... */
120   for (ima = bmain->images.first; ima; ima = ima->id.next) {
121     if (BKE_image_has_packedfile(ima)) {
122       count++;
123     }
124   }
125
126   for (vf = bmain->fonts.first; vf; vf = vf->id.next) {
127     if (vf->packedfile) {
128       count++;
129     }
130   }
131
132   for (sound = bmain->sounds.first; sound; sound = sound->id.next) {
133     if (sound->packedfile) {
134       count++;
135     }
136   }
137
138   return count;
139 }
140
141 void BKE_packedfile_free(PackedFile *pf)
142 {
143   if (pf) {
144     BLI_assert(pf->data != NULL);
145
146     MEM_SAFE_FREE(pf->data);
147     MEM_freeN(pf);
148   }
149   else {
150     printf("%s: Trying to free a NULL pointer\n", __func__);
151   }
152 }
153
154 PackedFile *BKE_packedfile_duplicate(const PackedFile *pf_src)
155 {
156   BLI_assert(pf_src != NULL);
157   BLI_assert(pf_src->data != NULL);
158
159   PackedFile *pf_dst;
160
161   pf_dst = MEM_dupallocN(pf_src);
162   pf_dst->data = MEM_dupallocN(pf_src->data);
163
164   return pf_dst;
165 }
166
167 PackedFile *BKE_packedfile_new_from_memory(void *mem, int memlen)
168 {
169   BLI_assert(mem != NULL);
170
171   PackedFile *pf = MEM_callocN(sizeof(*pf), "PackedFile");
172   pf->data = mem;
173   pf->size = memlen;
174
175   return pf;
176 }
177
178 PackedFile *BKE_packedfile_new(ReportList *reports, const char *filename, const char *basepath)
179 {
180   PackedFile *pf = NULL;
181   int file, filelen;
182   char name[FILE_MAX];
183   void *data;
184
185   /* render result has no filename and can be ignored
186    * any other files with no name can be ignored too */
187   if (filename[0] == '\0') {
188     return pf;
189   }
190
191   // XXX waitcursor(1);
192
193   /* convert relative filenames to absolute filenames */
194
195   BLI_strncpy(name, filename, sizeof(name));
196   BLI_path_abs(name, basepath);
197
198   /* open the file
199    * and create a PackedFile structure */
200
201   file = BLI_open(name, O_BINARY | O_RDONLY, 0);
202   if (file == -1) {
203     BKE_reportf(reports, RPT_ERROR, "Unable to pack file, source path '%s' not found", name);
204   }
205   else {
206     filelen = BLI_file_descriptor_size(file);
207
208     if (filelen == 0) {
209       /* MEM_mallocN complains about MEM_mallocN(0, "bla");
210        * we don't care.... */
211       data = MEM_mallocN(1, "packFile");
212     }
213     else {
214       data = MEM_mallocN(filelen, "packFile");
215     }
216     if (read(file, data, filelen) == filelen) {
217       pf = BKE_packedfile_new_from_memory(data, filelen);
218     }
219     else {
220       MEM_freeN(data);
221     }
222
223     close(file);
224   }
225
226   // XXX waitcursor(0);
227
228   return (pf);
229 }
230
231 /* no libraries for now */
232 void BKE_packedfile_pack_all(Main *bmain, ReportList *reports, bool verbose)
233 {
234   Image *ima;
235   VFont *vfont;
236   bSound *sound;
237   int tot = 0;
238
239   for (ima = bmain->images.first; ima; ima = ima->id.next) {
240     if (BKE_image_has_packedfile(ima) == false && !ID_IS_LINKED(ima)) {
241       if (ima->source == IMA_SRC_FILE) {
242         BKE_image_packfiles(reports, ima, ID_BLEND_PATH(bmain, &ima->id));
243         tot++;
244       }
245       else if (BKE_image_is_animated(ima) && verbose) {
246         BKE_reportf(reports,
247                     RPT_WARNING,
248                     "Image '%s' skipped, movies and image sequences not supported",
249                     ima->id.name + 2);
250       }
251     }
252   }
253
254   for (vfont = bmain->fonts.first; vfont; vfont = vfont->id.next) {
255     if (vfont->packedfile == NULL && !ID_IS_LINKED(vfont) &&
256         BKE_vfont_is_builtin(vfont) == false) {
257       vfont->packedfile = BKE_packedfile_new(reports, vfont->name, BKE_main_blendfile_path(bmain));
258       tot++;
259     }
260   }
261
262   for (sound = bmain->sounds.first; sound; sound = sound->id.next) {
263     if (sound->packedfile == NULL && !ID_IS_LINKED(sound)) {
264       sound->packedfile = BKE_packedfile_new(reports, sound->name, BKE_main_blendfile_path(bmain));
265       tot++;
266     }
267   }
268
269   if (tot > 0) {
270     BKE_reportf(reports, RPT_INFO, "Packed %d file(s)", tot);
271   }
272   else if (verbose) {
273     BKE_report(reports, RPT_INFO, "No new files have been packed");
274   }
275 }
276
277 int BKE_packedfile_write_to_file(ReportList *reports,
278                                  const char *ref_file_name,
279                                  const char *filename,
280                                  PackedFile *pf,
281                                  const bool guimode)
282 {
283   int file, number;
284   int ret_value = RET_OK;
285   bool remove_tmp = false;
286   char name[FILE_MAX];
287   char tempname[FILE_MAX];
288   /*      void *data; */
289
290   if (guimode) {
291   }  // XXX  waitcursor(1);
292
293   BLI_strncpy(name, filename, sizeof(name));
294   BLI_path_abs(name, ref_file_name);
295
296   if (BLI_exists(name)) {
297     for (number = 1; number <= 999; number++) {
298       BLI_snprintf(tempname, sizeof(tempname), "%s.%03d_", name, number);
299       if (!BLI_exists(tempname)) {
300         if (BLI_copy(name, tempname) == RET_OK) {
301           remove_tmp = true;
302         }
303         break;
304       }
305     }
306   }
307
308   /* make sure the path to the file exists... */
309   BLI_make_existing_file(name);
310
311   file = BLI_open(name, O_BINARY + O_WRONLY + O_CREAT + O_TRUNC, 0666);
312   if (file == -1) {
313     BKE_reportf(reports, RPT_ERROR, "Error creating file '%s'", name);
314     ret_value = RET_ERROR;
315   }
316   else {
317     if (write(file, pf->data, pf->size) != pf->size) {
318       BKE_reportf(reports, RPT_ERROR, "Error writing file '%s'", name);
319       ret_value = RET_ERROR;
320     }
321     else {
322       BKE_reportf(reports, RPT_INFO, "Saved packed file to: %s", name);
323     }
324
325     close(file);
326   }
327
328   if (remove_tmp) {
329     if (ret_value == RET_ERROR) {
330       if (BLI_rename(tempname, name) != 0) {
331         BKE_reportf(reports,
332                     RPT_ERROR,
333                     "Error restoring temp file (check files '%s' '%s')",
334                     tempname,
335                     name);
336       }
337     }
338     else {
339       if (BLI_delete(tempname, false, false) != 0) {
340         BKE_reportf(reports, RPT_ERROR, "Error deleting '%s' (ignored)", tempname);
341       }
342     }
343   }
344
345   if (guimode) {
346   }  // XXX waitcursor(0);
347
348   return (ret_value);
349 }
350
351 /**
352  * This function compares a packed file to a 'real' file.
353  * It returns an integer indicating if:
354  *
355  * - PF_EQUAL:     the packed file and original file are identical
356  * - PF_DIFFERENT: the packed file and original file differ
357  * - PF_NOFILE:    the original file doesn't exist
358  */
359 enum ePF_FileCompare BKE_packedfile_compare_to_file(const char *ref_file_name,
360                                                     const char *filename,
361                                                     PackedFile *pf)
362 {
363   BLI_stat_t st;
364   enum ePF_FileCompare ret_val;
365   char buf[4096];
366   char name[FILE_MAX];
367
368   BLI_strncpy(name, filename, sizeof(name));
369   BLI_path_abs(name, ref_file_name);
370
371   if (BLI_stat(name, &st) == -1) {
372     ret_val = PF_CMP_NOFILE;
373   }
374   else if (st.st_size != pf->size) {
375     ret_val = PF_CMP_DIFFERS;
376   }
377   else {
378     /* we'll have to compare the two... */
379
380     const int file = BLI_open(name, O_BINARY | O_RDONLY, 0);
381     if (file == -1) {
382       ret_val = PF_CMP_NOFILE;
383     }
384     else {
385       ret_val = PF_CMP_EQUAL;
386
387       for (int i = 0; i < pf->size; i += sizeof(buf)) {
388         int len = pf->size - i;
389         if (len > sizeof(buf)) {
390           len = sizeof(buf);
391         }
392
393         if (read(file, buf, len) != len) {
394           /* read error ... */
395           ret_val = PF_CMP_DIFFERS;
396           break;
397         }
398         else {
399           if (memcmp(buf, ((char *)pf->data) + i, len)) {
400             ret_val = PF_CMP_DIFFERS;
401             break;
402           }
403         }
404       }
405
406       close(file);
407     }
408   }
409
410   return (ret_val);
411 }
412
413 /**
414  * #BKE_packedfile_unpack_to_file() looks at the existing files (abs_name, local_name)
415  * and a packed file.
416  *
417  * It returns a char *to the existing file name / new file name or NULL when
418  * there was an error or when the user decides to cancel the operation.
419  *
420  * \warning 'abs_name' may be relative still! (use a "//" prefix)
421  * be sure to run #BLI_path_abs on it first.
422  */
423 char *BKE_packedfile_unpack_to_file(ReportList *reports,
424                                     const char *ref_file_name,
425                                     const char *abs_name,
426                                     const char *local_name,
427                                     PackedFile *pf,
428                                     enum ePF_FileStatus how)
429 {
430   char *newname = NULL;
431   const char *temp = NULL;
432
433   if (pf != NULL) {
434     switch (how) {
435       case PF_KEEP:
436         break;
437       case PF_REMOVE:
438         temp = abs_name;
439         break;
440       case PF_USE_LOCAL: {
441         char temp_abs[FILE_MAX];
442
443         BLI_strncpy(temp_abs, local_name, sizeof(temp_abs));
444         BLI_path_abs(temp_abs, ref_file_name);
445
446         /* if file exists use it */
447         if (BLI_exists(temp_abs)) {
448           temp = local_name;
449           break;
450         }
451         /* else create it */
452         ATTR_FALLTHROUGH;
453       }
454       case PF_WRITE_LOCAL:
455         if (BKE_packedfile_write_to_file(reports, ref_file_name, local_name, pf, 1) == RET_OK) {
456           temp = local_name;
457         }
458         break;
459       case PF_USE_ORIGINAL: {
460         char temp_abs[FILE_MAX];
461
462         BLI_strncpy(temp_abs, abs_name, sizeof(temp_abs));
463         BLI_path_abs(temp_abs, ref_file_name);
464
465         /* if file exists use it */
466         if (BLI_exists(temp_abs)) {
467           BKE_reportf(reports, RPT_INFO, "Use existing file (instead of packed): %s", abs_name);
468           temp = abs_name;
469           break;
470         }
471         /* else create it */
472         ATTR_FALLTHROUGH;
473       }
474       case PF_WRITE_ORIGINAL:
475         if (BKE_packedfile_write_to_file(reports, ref_file_name, abs_name, pf, 1) == RET_OK) {
476           temp = abs_name;
477         }
478         break;
479       default:
480         printf("%s: unknown return_value %u\n", __func__, how);
481         break;
482     }
483
484     if (temp) {
485       newname = BLI_strdup(temp);
486     }
487   }
488
489   return newname;
490 }
491
492 static void unpack_generate_paths(const char *name,
493                                   ID *id,
494                                   char *r_abspath,
495                                   char *r_relpath,
496                                   size_t abspathlen,
497                                   size_t relpathlen)
498 {
499   char tempname[FILE_MAX];
500   char tempdir[FILE_MAXDIR];
501
502   BLI_split_dirfile(name, tempdir, tempname, sizeof(tempdir), sizeof(tempname));
503
504   if (tempname[0] == '\0') {
505     /* Note: we do not have any real way to re-create extension out of data... */
506     BLI_strncpy(tempname, id->name + 2, sizeof(tempname));
507     printf("%s\n", tempname);
508     BLI_filename_make_safe(tempname);
509     printf("%s\n", tempname);
510   }
511
512   if (tempdir[0] == '\0') {
513     /* Fallback to relative dir. */
514     BLI_strncpy(tempdir, "//", sizeof(tempdir));
515   }
516
517   switch (GS(id->name)) {
518     case ID_VF:
519       BLI_snprintf(r_relpath, relpathlen, "//fonts/%s", tempname);
520       break;
521     case ID_SO:
522       BLI_snprintf(r_relpath, relpathlen, "//sounds/%s", tempname);
523       break;
524     case ID_IM:
525       BLI_snprintf(r_relpath, relpathlen, "//textures/%s", tempname);
526       break;
527     default:
528       break;
529   }
530
531   {
532     size_t len = BLI_strncpy_rlen(r_abspath, tempdir, abspathlen);
533     BLI_strncpy(r_abspath + len, tempname, abspathlen - len);
534   }
535 }
536
537 int BKE_packedfile_unpack_vfont(Main *bmain,
538                                 ReportList *reports,
539                                 VFont *vfont,
540                                 enum ePF_FileStatus how)
541 {
542   char localname[FILE_MAX], absname[FILE_MAX];
543   char *newname;
544   int ret_value = RET_ERROR;
545
546   if (vfont != NULL) {
547     unpack_generate_paths(
548         vfont->name, (ID *)vfont, absname, localname, sizeof(absname), sizeof(localname));
549     newname = BKE_packedfile_unpack_to_file(
550         reports, BKE_main_blendfile_path(bmain), absname, localname, vfont->packedfile, how);
551     if (newname != NULL) {
552       ret_value = RET_OK;
553       BKE_packedfile_free(vfont->packedfile);
554       vfont->packedfile = NULL;
555       BLI_strncpy(vfont->name, newname, sizeof(vfont->name));
556       MEM_freeN(newname);
557     }
558   }
559
560   return (ret_value);
561 }
562
563 int BKE_packedfile_unpack_sound(Main *bmain,
564                                 ReportList *reports,
565                                 bSound *sound,
566                                 enum ePF_FileStatus how)
567 {
568   char localname[FILE_MAX], absname[FILE_MAX];
569   char *newname;
570   int ret_value = RET_ERROR;
571
572   if (sound != NULL) {
573     unpack_generate_paths(
574         sound->name, (ID *)sound, absname, localname, sizeof(absname), sizeof(localname));
575     newname = BKE_packedfile_unpack_to_file(
576         reports, BKE_main_blendfile_path(bmain), absname, localname, sound->packedfile, how);
577     if (newname != NULL) {
578       BLI_strncpy(sound->name, newname, sizeof(sound->name));
579       MEM_freeN(newname);
580
581       BKE_packedfile_free(sound->packedfile);
582       sound->packedfile = NULL;
583
584       BKE_sound_load(bmain, sound);
585
586       ret_value = RET_OK;
587     }
588   }
589
590   return (ret_value);
591 }
592
593 int BKE_packedfile_unpack_image(Main *bmain,
594                                 ReportList *reports,
595                                 Image *ima,
596                                 enum ePF_FileStatus how)
597 {
598   int ret_value = RET_ERROR;
599
600   if (ima != NULL) {
601     while (ima->packedfiles.last) {
602       char localname[FILE_MAX], absname[FILE_MAX];
603       char *newname;
604       ImagePackedFile *imapf = ima->packedfiles.last;
605
606       unpack_generate_paths(
607           imapf->filepath, (ID *)ima, absname, localname, sizeof(absname), sizeof(localname));
608       newname = BKE_packedfile_unpack_to_file(
609           reports, BKE_main_blendfile_path(bmain), absname, localname, imapf->packedfile, how);
610
611       if (newname != NULL) {
612         ImageView *iv;
613
614         ret_value = ret_value == RET_ERROR ? RET_ERROR : RET_OK;
615         BKE_packedfile_free(imapf->packedfile);
616         imapf->packedfile = NULL;
617
618         /* update the new corresponding view filepath */
619         iv = BLI_findstring(&ima->views, imapf->filepath, offsetof(ImageView, filepath));
620         if (iv) {
621           BLI_strncpy(iv->filepath, newname, sizeof(imapf->filepath));
622         }
623
624         /* keep the new name in the image for non-pack specific reasons */
625         if (how != PF_REMOVE) {
626           BLI_strncpy(ima->name, newname, sizeof(imapf->filepath));
627         }
628         MEM_freeN(newname);
629       }
630       else {
631         ret_value = RET_ERROR;
632       }
633
634       BLI_remlink(&ima->packedfiles, imapf);
635       MEM_freeN(imapf);
636     }
637   }
638
639   if (ret_value == RET_OK) {
640     BKE_image_signal(bmain, ima, NULL, IMA_SIGNAL_RELOAD);
641   }
642
643   return (ret_value);
644 }
645
646 int BKE_packedfile_unpack_all_libraries(Main *bmain, ReportList *reports)
647 {
648   Library *lib;
649   char *newname;
650   int ret_value = RET_ERROR;
651
652   for (lib = bmain->libraries.first; lib; lib = lib->id.next) {
653     if (lib->packedfile && lib->name[0]) {
654
655       newname = BKE_packedfile_unpack_to_file(reports,
656                                               BKE_main_blendfile_path(bmain),
657                                               lib->filepath,
658                                               lib->filepath,
659                                               lib->packedfile,
660                                               PF_WRITE_ORIGINAL);
661       if (newname != NULL) {
662         ret_value = RET_OK;
663
664         printf("Unpacked .blend library: %s\n", newname);
665
666         BKE_packedfile_free(lib->packedfile);
667         lib->packedfile = NULL;
668
669         MEM_freeN(newname);
670       }
671     }
672   }
673
674   return (ret_value);
675 }
676
677 void BKE_packedfile_pack_all_libraries(Main *bmain, ReportList *reports)
678 {
679   Library *lib;
680
681   /* test for relativenss */
682   for (lib = bmain->libraries.first; lib; lib = lib->id.next) {
683     if (!BLI_path_is_rel(lib->name)) {
684       break;
685     }
686   }
687
688   if (lib) {
689     BKE_reportf(reports, RPT_ERROR, "Cannot pack absolute file: '%s'", lib->name);
690     return;
691   }
692
693   for (lib = bmain->libraries.first; lib; lib = lib->id.next) {
694     if (lib->packedfile == NULL) {
695       lib->packedfile = BKE_packedfile_new(reports, lib->name, BKE_main_blendfile_path(bmain));
696     }
697   }
698 }
699
700 void BKE_packedfile_unpack_all(Main *bmain, ReportList *reports, enum ePF_FileStatus how)
701 {
702   Image *ima;
703   VFont *vf;
704   bSound *sound;
705
706   for (ima = bmain->images.first; ima; ima = ima->id.next) {
707     if (BKE_image_has_packedfile(ima)) {
708       BKE_packedfile_unpack_image(bmain, reports, ima, how);
709     }
710   }
711
712   for (vf = bmain->fonts.first; vf; vf = vf->id.next) {
713     if (vf->packedfile) {
714       BKE_packedfile_unpack_vfont(bmain, reports, vf, how);
715     }
716   }
717
718   for (sound = bmain->sounds.first; sound; sound = sound->id.next) {
719     if (sound->packedfile) {
720       BKE_packedfile_unpack_sound(bmain, reports, sound, how);
721     }
722   }
723 }
724
725 /* ID should be not NULL, return 1 if there's a packed file */
726 bool BKE_packedfile_id_check(ID *id)
727 {
728   switch (GS(id->name)) {
729     case ID_IM: {
730       Image *ima = (Image *)id;
731       return BKE_image_has_packedfile(ima);
732     }
733     case ID_VF: {
734       VFont *vf = (VFont *)id;
735       return vf->packedfile != NULL;
736     }
737     case ID_SO: {
738       bSound *snd = (bSound *)id;
739       return snd->packedfile != NULL;
740     }
741     case ID_LI: {
742       Library *li = (Library *)id;
743       return li->packedfile != NULL;
744     }
745     default:
746       break;
747   }
748   return false;
749 }
750
751 /* ID should be not NULL */
752 void BKE_packedfile_id_unpack(Main *bmain, ID *id, ReportList *reports, enum ePF_FileStatus how)
753 {
754   switch (GS(id->name)) {
755     case ID_IM: {
756       Image *ima = (Image *)id;
757       if (BKE_image_has_packedfile(ima)) {
758         BKE_packedfile_unpack_image(bmain, reports, ima, how);
759       }
760       break;
761     }
762     case ID_VF: {
763       VFont *vf = (VFont *)id;
764       if (vf->packedfile) {
765         BKE_packedfile_unpack_vfont(bmain, reports, vf, how);
766       }
767       break;
768     }
769     case ID_SO: {
770       bSound *snd = (bSound *)id;
771       if (snd->packedfile) {
772         BKE_packedfile_unpack_sound(bmain, reports, snd, how);
773       }
774       break;
775     }
776     case ID_LI: {
777       Library *li = (Library *)id;
778       BKE_reportf(reports, RPT_ERROR, "Cannot unpack individual Library file, '%s'", li->name);
779       break;
780     }
781     default:
782       break;
783   }
784 }