Cleanup: rename readfile API functions
[blender.git] / source / blender / blenloader / intern / readblenentry.c
1 /*
2  * This program is free software; you can redistribute it and/or
3  * modify it under the terms of the GNU General Public License
4  * as published by the Free Software Foundation; either version 2
5  * of the License, or (at your option) any later version.
6  *
7  * This program is distributed in the hope that it will be useful,
8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
10  * GNU General Public License for more details.
11  *
12  * You should have received a copy of the GNU General Public License
13  * along with this program; if not, write to the Free Software Foundation,
14  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
15  *
16  * The Original Code is Copyright (C) 2001-2002 by NaN Holding BV.
17  * All rights reserved.
18  * .blend file reading entry point
19  */
20
21 /** \file
22  * \ingroup blenloader
23  */
24
25
26 #include <stddef.h>
27
28 #include <stdlib.h>
29 #include <string.h>
30 #include <stdio.h>
31 #include <math.h>
32
33 #include "MEM_guardedalloc.h"
34
35 #include "BLI_utildefines.h"
36 #include "BLI_ghash.h"
37 #include "BLI_linklist.h"
38 #include "BLI_listbase.h"
39 #include "BLI_string.h"
40
41 #include "DNA_genfile.h"
42 #include "DNA_sdna_types.h"
43
44
45 #include "BKE_main.h"
46 #include "BKE_idcode.h"
47
48 #include "BLO_readfile.h"
49 #include "BLO_undofile.h"
50 #include "BLO_blend_defs.h"
51
52 #include "readfile.h"
53
54 #include "BLI_sys_types.h" // needed for intptr_t
55
56 #ifdef WIN32
57 #  include "BLI_winstuff.h"
58 #endif
59
60 /* local prototypes --------------------- */
61 void BLO_blendhandle_print_sizes(BlendHandle *, void *);
62
63 /* Access routines used by filesel. */
64
65 /**
66  * Open a blendhandle from a file path.
67  *
68  * \param filepath: The file path to open.
69  * \param reports: Report errors in opening the file (can be NULL).
70  * \return A handle on success, or NULL on failure.
71  */
72 BlendHandle *BLO_blendhandle_from_file(const char *filepath, ReportList *reports)
73 {
74         BlendHandle *bh;
75
76         bh = (BlendHandle *)blo_filedata_from_file(filepath, reports);
77
78         return bh;
79 }
80
81 /**
82  * Open a blendhandle from memory.
83  *
84  * \param mem: The data to load from.
85  * \param memsize: The size of the data.
86  * \return A handle on success, or NULL on failure.
87  */
88 BlendHandle *BLO_blendhandle_from_memory(const void *mem, int memsize)
89 {
90         BlendHandle *bh;
91
92         bh = (BlendHandle *)blo_filedata_from_memory(mem, memsize, NULL);
93
94         return bh;
95 }
96
97 void BLO_blendhandle_print_sizes(BlendHandle *bh, void *fp)
98 {
99         FileData *fd = (FileData *)bh;
100         BHead *bhead;
101
102         fprintf(fp, "[\n");
103         for (bhead = blo_bhead_first(fd); bhead; bhead = blo_bhead_next(fd, bhead)) {
104                 if (bhead->code == ENDB)
105                         break;
106                 else {
107                         const short *sp = fd->filesdna->structs[bhead->SDNAnr];
108                         const char *name = fd->filesdna->types[sp[0]];
109                         char buf[4];
110
111                         buf[0] = (bhead->code >> 24) & 0xFF;
112                         buf[1] = (bhead->code >> 16) & 0xFF;
113                         buf[2] = (bhead->code >> 8) & 0xFF;
114                         buf[3] = (bhead->code >> 0) & 0xFF;
115
116                         buf[0] = buf[0] ? buf[0] : ' ';
117                         buf[1] = buf[1] ? buf[1] : ' ';
118                         buf[2] = buf[2] ? buf[2] : ' ';
119                         buf[3] = buf[3] ? buf[3] : ' ';
120
121                         fprintf(fp, "['%.4s', '%s', %d, %ld ],\n", buf, name, bhead->nr, (long int)(bhead->len + sizeof(BHead)));
122                 }
123         }
124         fprintf(fp, "]\n");
125 }
126
127 /**
128  * Gets the names of all the datablocks in a file of a certain type (e.g. all the scene names in a file).
129  *
130  * \param bh: The blendhandle to access.
131  * \param ofblocktype: The type of names to get.
132  * \param tot_names: The length of the returned list.
133  * \return A BLI_linklist of strings. The string links should be freed with malloc.
134  */
135 LinkNode *BLO_blendhandle_get_datablock_names(BlendHandle *bh, int ofblocktype, int *tot_names)
136 {
137         FileData *fd = (FileData *)bh;
138         LinkNode *names = NULL;
139         BHead *bhead;
140         int tot = 0;
141
142         for (bhead = blo_bhead_first(fd); bhead; bhead = blo_bhead_next(fd, bhead)) {
143                 if (bhead->code == ofblocktype) {
144                         const char *idname = blo_bhead_id_name(fd, bhead);
145
146                         BLI_linklist_prepend(&names, strdup(idname + 2));
147                         tot++;
148                 }
149                 else if (bhead->code == ENDB)
150                         break;
151         }
152
153         *tot_names = tot;
154         return names;
155 }
156
157 /**
158  * Gets the previews of all the datablocks in a file of a certain type (e.g. all the scene previews in a file).
159  *
160  * \param bh: The blendhandle to access.
161  * \param ofblocktype: The type of names to get.
162  * \param tot_prev: The length of the returned list.
163  * \return A BLI_linklist of PreviewImage. The PreviewImage links should be freed with malloc.
164  */
165 LinkNode *BLO_blendhandle_get_previews(BlendHandle *bh, int ofblocktype, int *tot_prev)
166 {
167         FileData *fd = (FileData *)bh;
168         LinkNode *previews = NULL;
169         BHead *bhead;
170         int looking = 0;
171         PreviewImage *prv = NULL;
172         PreviewImage *new_prv = NULL;
173         int tot = 0;
174
175         for (bhead = blo_bhead_first(fd); bhead; bhead = blo_bhead_next(fd, bhead)) {
176                 if (bhead->code == ofblocktype) {
177                         const char *idname = blo_bhead_id_name(fd, bhead);
178                         switch (GS(idname)) {
179                                 case ID_MA: /* fall through */
180                                 case ID_TE: /* fall through */
181                                 case ID_IM: /* fall through */
182                                 case ID_WO: /* fall through */
183                                 case ID_LA: /* fall through */
184                                 case ID_OB: /* fall through */
185                                 case ID_GR: /* fall through */
186                                 case ID_SCE: /* fall through */
187                                         new_prv = MEM_callocN(sizeof(PreviewImage), "newpreview");
188                                         BLI_linklist_prepend(&previews, new_prv);
189                                         tot++;
190                                         looking = 1;
191                                         break;
192                                 default:
193                                         break;
194                         }
195                 }
196                 else if (bhead->code == DATA) {
197                         if (looking) {
198                                 if (bhead->SDNAnr == DNA_struct_find_nr(fd->filesdna, "PreviewImage") ) {
199                                         prv = BLO_library_read_struct(fd, bhead, "PreviewImage");
200                                         if (prv) {
201                                                 memcpy(new_prv, prv, sizeof(PreviewImage));
202                                                 if (prv->rect[0] && prv->w[0] && prv->h[0]) {
203                                                         uint *rect = NULL;
204                                                         size_t len = new_prv->w[0] * new_prv->h[0] * sizeof(uint);
205                                                         new_prv->rect[0] = MEM_callocN(len, __func__);
206                                                         bhead = blo_bhead_next(fd, bhead);
207                                                         rect = (uint *)(bhead + 1);
208                                                         BLI_assert(len == bhead->len);
209                                                         memcpy(new_prv->rect[0], rect, len);
210                                                 }
211                                                 else {
212                                                         /* This should not be needed, but can happen in 'broken' .blend files,
213                                                          * better handle this gracefully than crashing. */
214                                                         BLI_assert(prv->rect[0] == NULL && prv->w[0] == 0 && prv->h[0] == 0);
215                                                         new_prv->rect[0] = NULL;
216                                                         new_prv->w[0] = new_prv->h[0] = 0;
217                                                 }
218
219                                                 if (prv->rect[1] && prv->w[1] && prv->h[1]) {
220                                                         uint *rect = NULL;
221                                                         size_t len = new_prv->w[1] * new_prv->h[1] * sizeof(uint);
222                                                         new_prv->rect[1] = MEM_callocN(len, __func__);
223                                                         bhead = blo_bhead_next(fd, bhead);
224                                                         rect = (uint *)(bhead + 1);
225                                                         BLI_assert(len == bhead->len);
226                                                         memcpy(new_prv->rect[1], rect, len);
227                                                 }
228                                                 else {
229                                                         /* This should not be needed, but can happen in 'broken' .blend files,
230                                                          * better handle this gracefully than crashing. */
231                                                         BLI_assert(prv->rect[1] == NULL && prv->w[1] == 0 && prv->h[1] == 0);
232                                                         new_prv->rect[1] = NULL;
233                                                         new_prv->w[1] = new_prv->h[1] = 0;
234                                                 }
235                                                 MEM_freeN(prv);
236                                         }
237                                 }
238                         }
239                 }
240                 else if (bhead->code == ENDB) {
241                         break;
242                 }
243                 else {
244                         looking = 0;
245                         new_prv = NULL;
246                         prv = NULL;
247                 }
248
249         }
250
251         *tot_prev = tot;
252         return previews;
253 }
254
255 /**
256  * Gets the names of all the linkable datablock types available in a file. (e.g. "Scene", "Mesh", "Lamp", etc.).
257  *
258  * \param bh: The blendhandle to access.
259  * \return A BLI_linklist of strings. The string links should be freed with malloc.
260  */
261 LinkNode *BLO_blendhandle_get_linkable_groups(BlendHandle *bh)
262 {
263         FileData *fd = (FileData *)bh;
264         GSet *gathered = BLI_gset_ptr_new("linkable_groups gh");
265         LinkNode *names = NULL;
266         BHead *bhead;
267
268         for (bhead = blo_bhead_first(fd); bhead; bhead = blo_bhead_next(fd, bhead)) {
269                 if (bhead->code == ENDB) {
270                         break;
271                 }
272                 else if (BKE_idcode_is_valid(bhead->code)) {
273                         if (BKE_idcode_is_linkable(bhead->code)) {
274                                 const char *str = BKE_idcode_to_name(bhead->code);
275
276                                 if (BLI_gset_add(gathered, (void *)str)) {
277                                         BLI_linklist_prepend(&names, strdup(str));
278                                 }
279                         }
280                 }
281         }
282
283         BLI_gset_free(gathered, NULL);
284
285         return names;
286 }
287
288 /**
289  * Close and free a blendhandle. The handle becomes invalid after this call.
290  *
291  * \param bh: The handle to close.
292  */
293 void BLO_blendhandle_close(BlendHandle *bh)
294 {
295         FileData *fd = (FileData *)bh;
296
297         blo_filedata_free(fd);
298 }
299
300 /**********/
301
302 /**
303  * Open a blender file from a pathname. The function returns NULL
304  * and sets a report in the list if it cannot open the file.
305  *
306  * \param filepath: The path of the file to open.
307  * \param reports: If the return value is NULL, errors indicating the cause of the failure.
308  * \return The data of the file.
309  */
310 BlendFileData *BLO_read_from_file(
311         const char *filepath,
312         eBLOReadSkip skip_flags,
313         ReportList *reports)
314 {
315         BlendFileData *bfd = NULL;
316         FileData *fd;
317
318         fd = blo_filedata_from_file(filepath, reports);
319         if (fd) {
320                 fd->reports = reports;
321                 fd->skip_flags = skip_flags;
322                 bfd = blo_read_file_internal(fd, filepath);
323                 blo_filedata_free(fd);
324         }
325
326         return bfd;
327 }
328
329 /**
330  * Open a blender file from memory. The function returns NULL
331  * and sets a report in the list if it cannot open the file.
332  *
333  * \param mem: The file data.
334  * \param memsize: The length of \a mem.
335  * \param reports: If the return value is NULL, errors indicating the cause of the failure.
336  * \return The data of the file.
337  */
338 BlendFileData *BLO_read_from_memory(
339         const void *mem, int memsize,
340         eBLOReadSkip skip_flags,
341         ReportList *reports)
342 {
343         BlendFileData *bfd = NULL;
344         FileData *fd;
345
346         fd = blo_filedata_from_memory(mem, memsize,  reports);
347         if (fd) {
348                 fd->reports = reports;
349                 fd->skip_flags = skip_flags;
350                 bfd = blo_read_file_internal(fd, "");
351                 blo_filedata_free(fd);
352         }
353
354         return bfd;
355 }
356
357 /**
358  * Used for undo/redo, skips part of libraries reading (assuming their data are already loaded & valid).
359  *
360  * \param oldmain: old main, from which we will keep libraries and other datablocks that should not have changed.
361  * \param filename: current file, only for retrieving library data.
362  */
363 BlendFileData *BLO_read_from_memfile(
364         Main *oldmain, const char *filename, MemFile *memfile,
365         eBLOReadSkip skip_flags,
366         ReportList *reports)
367 {
368         BlendFileData *bfd = NULL;
369         FileData *fd;
370         ListBase old_mainlist;
371
372         fd = blo_openblendermemfile(memfile, reports);
373         if (fd) {
374                 fd->reports = reports;
375                 fd->skip_flags = skip_flags;
376                 BLI_strncpy(fd->relabase, filename, sizeof(fd->relabase));
377
378                 /* clear ob->proxy_from pointers in old main */
379                 blo_clear_proxy_pointers_from_lib(oldmain);
380
381                 /* separate libraries from old main */
382                 blo_split_main(&old_mainlist, oldmain);
383                 /* add the library pointers in oldmap lookup */
384                 blo_add_library_pointer_map(&old_mainlist, fd);
385
386                 /* makes lookup of existing images in old main */
387                 blo_make_image_pointer_map(fd, oldmain);
388
389                 /* makes lookup of existing light caches in old main */
390                 blo_make_scene_pointer_map(fd, oldmain);
391
392                 /* makes lookup of existing video clips in old main */
393                 blo_make_movieclip_pointer_map(fd, oldmain);
394
395                 /* make lookups of existing sound data in old main */
396                 blo_make_sound_pointer_map(fd, oldmain);
397
398                 /* removed packed data from this trick - it's internal data that needs saves */
399
400                 bfd = blo_read_file_internal(fd, filename);
401
402                 /* ensures relinked light caches are not freed */
403                 blo_end_scene_pointer_map(fd, oldmain);
404
405                 /* ensures relinked images are not freed */
406                 blo_end_image_pointer_map(fd, oldmain);
407
408                 /* ensures relinked movie clips are not freed */
409                 blo_end_movieclip_pointer_map(fd, oldmain);
410
411                 /* ensures relinked sounds are not freed */
412                 blo_end_sound_pointer_map(fd, oldmain);
413
414                 /* Still in-use libraries have already been moved from oldmain to new mainlist,
415                  * but oldmain itself shall *never* be 'transferred' to new mainlist! */
416                 BLI_assert(old_mainlist.first == oldmain);
417
418                 if (bfd && old_mainlist.first != old_mainlist.last) {
419                         /* Even though directly used libs have been already moved to new main, indirect ones have not.
420                          * This is a bit annoying, but we have no choice but to keep them all for now - means some now unused
421                          * data may remain in memory, but think we'll have to live with it. */
422                         Main *libmain, *libmain_next;
423                         Main *newmain = bfd->main;
424                         ListBase new_mainlist = {newmain, newmain};
425
426                         for (libmain = oldmain->next; libmain; libmain = libmain_next) {
427                                 libmain_next = libmain->next;
428                                 /* Note that LIB_INDIRECT does not work with libraries themselves, so we use non-NULL parent
429                                  * to detect indirect-linked ones... */
430                                 if (libmain->curlib && (libmain->curlib->parent != NULL)) {
431                                         BLI_remlink(&old_mainlist, libmain);
432                                         BLI_addtail(&new_mainlist, libmain);
433                                 }
434                                 else {
435 #ifdef PRINT_DEBUG
436                                         printf("Dropped Main for lib: %s\n", libmain->curlib->id.name);
437 #endif
438                                 }
439                         }
440                         /* In any case, we need to move all lib datablocks themselves - those are 'first level data',
441                          * getting rid of them would imply updating spaces & co to prevent invalid pointers access. */
442                         BLI_movelisttolist(&newmain->library, &oldmain->library);
443
444                         blo_join_main(&new_mainlist);
445                 }
446
447                 /* printf("Remaining mains/libs in oldmain: %d\n", BLI_listbase_count(&fd->old_mainlist) - 1); */
448
449                 /* That way, libs (aka mains) we did not reuse in new undone/redone state
450                  * will be cleared together with oldmain... */
451                 blo_join_main(&old_mainlist);
452
453                 blo_filedata_free(fd);
454         }
455
456         return bfd;
457 }
458
459 /**
460  * Frees a BlendFileData structure and *all* the data associated with it (the userdef data, and the main libblock data).
461  *
462  * \param bfd: The structure to free.
463  */
464 void BLO_blendfiledata_free(BlendFileData *bfd)
465 {
466         if (bfd->main) {
467                 BKE_main_free(bfd->main);
468         }
469
470         if (bfd->user) {
471                 MEM_freeN(bfd->user);
472         }
473
474         MEM_freeN(bfd);
475 }