Merge branch 'master' into blender2.8
[blender.git] / source / blender / blenloader / intern / readblenentry.c
1 /*
2  * ***** BEGIN GPL LICENSE BLOCK *****
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License
6  * as published by the Free Software Foundation; either version 2
7  * of the License, or (at your option) any later version.
8  *
9  * This program is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12  * GNU General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software Foundation,
16  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
17  *
18  * The Original Code is Copyright (C) 2001-2002 by NaN Holding BV.
19  * All rights reserved.
20  *
21  * The Original Code is: all of this file.
22  *
23  * Contributor(s): none yet.
24  *
25  * ***** END GPL LICENSE BLOCK *****
26  * .blend file reading entry point
27  */
28
29 /** \file blender/blenloader/intern/readblenentry.c
30  *  \ingroup blenloader
31  */
32
33
34 #include <stddef.h>
35
36 #include <stdlib.h>
37 #include <string.h>
38 #include <stdio.h>
39 #include <math.h>
40
41 #include "MEM_guardedalloc.h"
42
43 #include "BLI_utildefines.h"
44 #include "BLI_path_util.h"
45 #include "BLI_ghash.h"
46 #include "BLI_linklist.h"
47 #include "BLI_listbase.h"
48 #include "BLI_string.h"
49
50 #include "DNA_genfile.h"
51 #include "DNA_sdna_types.h"
52
53
54 #include "BKE_main.h"
55 #include "BKE_library.h" // for BKE_main_free
56 #include "BKE_idcode.h"
57
58 #include "BLO_readfile.h"
59 #include "BLO_undofile.h"
60 #include "BLO_blend_defs.h"
61
62 #include "readfile.h"
63
64 #include "BLI_sys_types.h" // needed for intptr_t
65
66 #ifdef WIN32
67 #  include "BLI_winstuff.h"
68 #endif
69
70 /* local prototypes --------------------- */
71 void BLO_blendhandle_print_sizes(BlendHandle *, void *); 
72
73 /* Access routines used by filesel. */
74          
75 /**
76  * Open a blendhandle from a file path.
77  *
78  * \param filepath The file path to open.
79  * \param reports Report errors in opening the file (can be NULL).
80  * \return A handle on success, or NULL on failure.
81  */
82 BlendHandle *BLO_blendhandle_from_file(const char *filepath, ReportList *reports)
83 {
84         BlendHandle *bh;
85
86         bh = (BlendHandle *)blo_openblenderfile(filepath, reports);
87
88         return bh;
89 }
90
91 /**
92  * Open a blendhandle from memory.
93  *
94  * \param mem The data to load from.
95  * \param memsize The size of the data.
96  * \return A handle on success, or NULL on failure.
97  */
98 BlendHandle *BLO_blendhandle_from_memory(const void *mem, int memsize)
99 {
100         BlendHandle *bh;
101
102         bh = (BlendHandle *)blo_openblendermemory(mem, memsize, NULL);
103
104         return bh;
105 }
106
107 void BLO_blendhandle_print_sizes(BlendHandle *bh, void *fp) 
108 {
109         FileData *fd = (FileData *) bh;
110         BHead *bhead;
111
112         fprintf(fp, "[\n");
113         for (bhead = blo_firstbhead(fd); bhead; bhead = blo_nextbhead(fd, bhead)) {
114                 if (bhead->code == ENDB)
115                         break;
116                 else {
117                         const short *sp = fd->filesdna->structs[bhead->SDNAnr];
118                         const char *name = fd->filesdna->types[sp[0]];
119                         char buf[4];
120                         
121                         buf[0] = (bhead->code >> 24) & 0xFF;
122                         buf[1] = (bhead->code >> 16) & 0xFF;
123                         buf[2] = (bhead->code >> 8) & 0xFF;
124                         buf[3] = (bhead->code >> 0) & 0xFF;
125
126                         buf[0] = buf[0] ? buf[0] : ' ';
127                         buf[1] = buf[1] ? buf[1] : ' ';
128                         buf[2] = buf[2] ? buf[2] : ' ';
129                         buf[3] = buf[3] ? buf[3] : ' ';
130                         
131                         fprintf(fp, "['%.4s', '%s', %d, %ld ],\n", buf, name, bhead->nr, (long int)(bhead->len + sizeof(BHead)));
132                 }
133         }
134         fprintf(fp, "]\n");
135 }
136
137 /**
138  * Gets the names of all the datablocks in a file of a certain type (e.g. all the scene names in a file).
139  *
140  * \param bh The blendhandle to access.
141  * \param ofblocktype The type of names to get.
142  * \param tot_names The length of the returned list.
143  * \return A BLI_linklist of strings. The string links should be freed with malloc.
144  */
145 LinkNode *BLO_blendhandle_get_datablock_names(BlendHandle *bh, int ofblocktype, int *tot_names)
146 {
147         FileData *fd = (FileData *) bh;
148         LinkNode *names = NULL;
149         BHead *bhead;
150         int tot = 0;
151
152         for (bhead = blo_firstbhead(fd); bhead; bhead = blo_nextbhead(fd, bhead)) {
153                 if (bhead->code == ofblocktype) {
154                         const char *idname = bhead_id_name(fd, bhead);
155
156                         BLI_linklist_prepend(&names, strdup(idname + 2));
157                         tot++;
158                 }
159                 else if (bhead->code == ENDB)
160                         break;
161         }
162
163         *tot_names = tot;
164         return names;
165 }
166
167 /**
168  * Gets the previews of all the datablocks in a file of a certain type (e.g. all the scene previews in a file).
169  *
170  * \param bh The blendhandle to access.
171  * \param ofblocktype The type of names to get.
172  * \param tot_prev The length of the returned list.
173  * \return A BLI_linklist of PreviewImage. The PreviewImage links should be freed with malloc.
174  */
175 LinkNode *BLO_blendhandle_get_previews(BlendHandle *bh, int ofblocktype, int *tot_prev)
176 {
177         FileData *fd = (FileData *) bh;
178         LinkNode *previews = NULL;
179         BHead *bhead;
180         int looking = 0;
181         PreviewImage *prv = NULL;
182         PreviewImage *new_prv = NULL;
183         int tot = 0;
184
185         for (bhead = blo_firstbhead(fd); bhead; bhead = blo_nextbhead(fd, bhead)) {
186                 if (bhead->code == ofblocktype) {
187                         const char *idname = bhead_id_name(fd, bhead);
188                         switch (GS(idname)) {
189                                 case ID_MA: /* fall through */
190                                 case ID_TE: /* fall through */
191                                 case ID_IM: /* fall through */
192                                 case ID_WO: /* fall through */
193                                 case ID_LA: /* fall through */
194                                 case ID_OB: /* fall through */
195                                 case ID_GR: /* fall through */
196                                 case ID_SCE: /* fall through */
197                                         new_prv = MEM_callocN(sizeof(PreviewImage), "newpreview");
198                                         BLI_linklist_prepend(&previews, new_prv);
199                                         tot++;
200                                         looking = 1;
201                                         break;
202                                 default:
203                                         break;
204                         }
205                 }
206                 else if (bhead->code == DATA) {
207                         if (looking) {
208                                 if (bhead->SDNAnr == DNA_struct_find_nr(fd->filesdna, "PreviewImage") ) {
209                                         prv = BLO_library_read_struct(fd, bhead, "PreviewImage");
210                                         if (prv) {
211                                                 memcpy(new_prv, prv, sizeof(PreviewImage));
212                                                 if (prv->rect[0] && prv->w[0] && prv->h[0]) {
213                                                         unsigned int *rect = NULL;
214                                                         size_t len = new_prv->w[0] * new_prv->h[0] * sizeof(unsigned int);
215                                                         new_prv->rect[0] = MEM_callocN(len, __func__);
216                                                         bhead = blo_nextbhead(fd, bhead);
217                                                         rect = (unsigned int *)(bhead + 1);
218                                                         BLI_assert(len == bhead->len);
219                                                         memcpy(new_prv->rect[0], rect, len);
220                                                 }
221                                                 else {
222                                                         /* This should not be needed, but can happen in 'broken' .blend files,
223                                                          * better handle this gracefully than crashing. */
224                                                         BLI_assert(prv->rect[0] == NULL && prv->w[0] == 0 && prv->h[0] == 0);
225                                                         new_prv->rect[0] = NULL;
226                                                         new_prv->w[0] = new_prv->h[0] = 0;
227                                                 }
228                                                 
229                                                 if (prv->rect[1] && prv->w[1] && prv->h[1]) {
230                                                         unsigned int *rect = NULL;
231                                                         size_t len = new_prv->w[1] * new_prv->h[1] * sizeof(unsigned int);
232                                                         new_prv->rect[1] = MEM_callocN(len, __func__);
233                                                         bhead = blo_nextbhead(fd, bhead);
234                                                         rect = (unsigned int *)(bhead + 1);
235                                                         BLI_assert(len == bhead->len);
236                                                         memcpy(new_prv->rect[1], rect, len);
237                                                 }
238                                                 else {
239                                                         /* This should not be needed, but can happen in 'broken' .blend files,
240                                                          * better handle this gracefully than crashing. */
241                                                         BLI_assert(prv->rect[1] == NULL && prv->w[1] == 0 && prv->h[1] == 0);
242                                                         new_prv->rect[1] = NULL;
243                                                         new_prv->w[1] = new_prv->h[1] = 0;
244                                                 }
245                                                 MEM_freeN(prv);
246                                         }
247                                 }
248                         }
249                 }
250                 else if (bhead->code == ENDB) {
251                         break;
252                 }
253                 else {
254                         looking = 0;
255                         new_prv = NULL;
256                         prv = NULL;
257                 }
258                 
259         }
260
261         *tot_prev = tot;
262         return previews;
263 }
264
265 /**
266  * Gets the names of all the linkable datablock types available in a file. (e.g. "Scene", "Mesh", "Lamp", etc.).
267  *
268  * \param bh The blendhandle to access.
269  * \return A BLI_linklist of strings. The string links should be freed with malloc.
270  */
271 LinkNode *BLO_blendhandle_get_linkable_groups(BlendHandle *bh)
272 {
273         FileData *fd = (FileData *) bh;
274         GSet *gathered = BLI_gset_ptr_new("linkable_groups gh");
275         LinkNode *names = NULL;
276         BHead *bhead;
277         
278         for (bhead = blo_firstbhead(fd); bhead; bhead = blo_nextbhead(fd, bhead)) {
279                 if (bhead->code == ENDB) {
280                         break;
281                 }
282                 else if (BKE_idcode_is_valid(bhead->code)) {
283                         if (BKE_idcode_is_linkable(bhead->code)) {
284                                 const char *str = BKE_idcode_to_name(bhead->code);
285                                 
286                                 if (BLI_gset_add(gathered, (void *)str)) {
287                                         BLI_linklist_prepend(&names, strdup(str));
288                                 }
289                         }
290                 }
291         }
292         
293         BLI_gset_free(gathered, NULL);
294         
295         return names;
296 }               
297
298 /**
299  * Close and free a blendhandle. The handle becomes invalid after this call.
300  *
301  * \param bh The handle to close.
302  */
303 void BLO_blendhandle_close(BlendHandle *bh)
304 {
305         FileData *fd = (FileData *) bh;
306         
307         blo_freefiledata(fd);
308 }
309
310 /**********/
311
312 /**
313  * Open a blender file from a pathname. The function returns NULL
314  * and sets a report in the list if it cannot open the file.
315  *
316  * \param filepath The path of the file to open.
317  * \param reports If the return value is NULL, errors indicating the cause of the failure.
318  * \return The data of the file.
319  */
320 BlendFileData *BLO_read_from_file(
321         const char *filepath,
322         ReportList *reports, eBLOReadSkip skip_flags)
323 {
324         BlendFileData *bfd = NULL;
325         FileData *fd;
326                 
327         fd = blo_openblenderfile(filepath, reports);
328         if (fd) {
329                 fd->reports = reports;
330                 fd->skip_flags = skip_flags;
331                 bfd = blo_read_file_internal(fd, filepath);
332                 blo_freefiledata(fd);
333         }
334
335         return bfd;
336 }
337
338 /**
339  * Open a blender file from memory. The function returns NULL
340  * and sets a report in the list if it cannot open the file.
341  *
342  * \param mem The file data.
343  * \param memsize The length of \a mem.
344  * \param reports If the return value is NULL, errors indicating the cause of the failure.
345  * \return The data of the file.
346  */
347 BlendFileData *BLO_read_from_memory(
348         const void *mem, int memsize,
349         ReportList *reports, eBLOReadSkip skip_flags)
350 {
351         BlendFileData *bfd = NULL;
352         FileData *fd;
353                 
354         fd = blo_openblendermemory(mem, memsize,  reports);
355         if (fd) {
356                 fd->reports = reports;
357                 fd->skip_flags = skip_flags;
358                 bfd = blo_read_file_internal(fd, "");
359                 blo_freefiledata(fd);
360         }
361
362         return bfd;
363 }
364
365 /**
366  * Used for undo/redo, skips part of libraries reading (assuming their data are already loaded & valid).
367  *
368  * \param oldmain old main, from which we will keep libraries and other datablocks that should not have changed.
369  * \param filename current file, only for retrieving library data.
370  */
371 BlendFileData *BLO_read_from_memfile(
372         Main *oldmain, const char *filename, MemFile *memfile,
373         ReportList *reports, eBLOReadSkip skip_flags)
374 {
375         BlendFileData *bfd = NULL;
376         FileData *fd;
377         ListBase old_mainlist;
378         
379         fd = blo_openblendermemfile(memfile, reports);
380         if (fd) {
381                 fd->reports = reports;
382                 fd->skip_flags = skip_flags;
383                 BLI_strncpy(fd->relabase, filename, sizeof(fd->relabase));
384                 
385                 /* clear ob->proxy_from pointers in old main */
386                 blo_clear_proxy_pointers_from_lib(oldmain);
387
388                 /* separate libraries from old main */
389                 blo_split_main(&old_mainlist, oldmain);
390                 /* add the library pointers in oldmap lookup */
391                 blo_add_library_pointer_map(&old_mainlist, fd);
392                 
393                 /* makes lookup of existing images in old main */
394                 blo_make_image_pointer_map(fd, oldmain);
395                 
396                 /* makes lookup of existing video clips in old main */
397                 blo_make_movieclip_pointer_map(fd, oldmain);
398
399                 /* make lookups of existing sound data in old main */
400                 blo_make_sound_pointer_map(fd, oldmain);
401                 
402                 /* removed packed data from this trick - it's internal data that needs saves */
403                 
404                 bfd = blo_read_file_internal(fd, filename);
405                 
406                 /* ensures relinked images are not freed */
407                 blo_end_image_pointer_map(fd, oldmain);
408                 
409                 /* ensures relinked movie clips are not freed */
410                 blo_end_movieclip_pointer_map(fd, oldmain);
411                 
412                 /* ensures relinked sounds are not freed */
413                 blo_end_sound_pointer_map(fd, oldmain);
414
415                 /* Still in-use libraries have already been moved from oldmain to new mainlist,
416                  * but oldmain itself shall *never* be 'transferred' to new mainlist! */
417                 BLI_assert(old_mainlist.first == oldmain);
418
419                 if (bfd && old_mainlist.first != old_mainlist.last) {
420                         /* Even though directly used libs have been already moved to new main, indirect ones have not.
421                          * This is a bit annoying, but we have no choice but to keep them all for now - means some now unused
422                          * data may remain in memory, but think we'll have to live with it. */
423                         Main *libmain, *libmain_next;
424                         Main *newmain = bfd->main;
425                         ListBase new_mainlist = {newmain, newmain};
426
427                         for (libmain = oldmain->next; libmain; libmain = libmain_next) {
428                                 libmain_next = libmain->next;
429                                 /* Note that LIB_INDIRECT does not work with libraries themselves, so we use non-NULL parent
430                                  * to detect indirect-linked ones... */
431                                 if (libmain->curlib && (libmain->curlib->parent != NULL)) {
432                                         BLI_remlink(&old_mainlist, libmain);
433                                         BLI_addtail(&new_mainlist, libmain);
434                                 }
435                                 else {
436 #ifdef PRINT_DEBUG
437                                         printf("Dropped Main for lib: %s\n", libmain->curlib->id.name);
438 #endif
439                                 }
440                         }
441                         /* In any case, we need to move all lib datablocks themselves - those are 'first level data',
442                          * getting rid of them would imply updating spaces & co to prevent invalid pointers access. */
443                         BLI_movelisttolist(&newmain->library, &oldmain->library);
444
445                         blo_join_main(&new_mainlist);
446                 }
447
448                 /* printf("Remaining mains/libs in oldmain: %d\n", BLI_listbase_count(&fd->old_mainlist) - 1); */
449
450                 /* That way, libs (aka mains) we did not reuse in new undone/redone state
451                  * will be cleared together with oldmain... */
452                 blo_join_main(&old_mainlist);
453
454                 blo_freefiledata(fd);
455         }
456
457         return bfd;
458 }
459
460 /**
461  * Frees a BlendFileData structure and *all* the data associated with it (the userdef data, and the main libblock data).
462  *
463  * \param bfd The structure to free.
464  */
465 void BLO_blendfiledata_free(BlendFileData *bfd)
466 {
467         if (bfd->main) {
468                 BKE_main_free(bfd->main);
469         }
470         
471         if (bfd->user) {
472                 MEM_freeN(bfd->user);
473         }
474
475         MEM_freeN(bfd);
476 }
477