Merge branch 'master' into blender2.8
[blender.git] / source / blender / blenkernel / intern / blendfile.c
1 /*
2  * ***** BEGIN GPL LICENSE BLOCK *****
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License
6  * as published by the Free Software Foundation; either version 2
7  * of the License, or (at your option) any later version.
8  *
9  * This program is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12  * GNU General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software Foundation,
16  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
17  *
18  * ***** END GPL LICENSE BLOCK *****
19  */
20
21 /** \file blender/blenkernel/intern/blendfile.c
22  *  \ingroup bke
23  *
24  * High level `.blend` file read/write,
25  * and functions for writing *partial* files (only selected data-blocks).
26  */
27
28 #include <stdlib.h>
29 #include <string.h>
30
31 #include "MEM_guardedalloc.h"
32
33 #include "DNA_scene_types.h"
34 #include "DNA_screen_types.h"
35 #include "DNA_workspace_types.h"
36
37 #include "BLI_listbase.h"
38 #include "BLI_string.h"
39 #include "BLI_path_util.h"
40 #include "BLI_utildefines.h"
41
42 #include "IMB_colormanagement.h"
43
44 #include "BKE_appdir.h"
45 #include "BKE_blender.h"
46 #include "BKE_blender_version.h"
47 #include "BKE_blendfile.h"
48 #include "BKE_bpath.h"
49 #include "BKE_context.h"
50 #include "BKE_global.h"
51 #include "BKE_ipo.h"
52 #include "BKE_layer.h"
53 #include "BKE_library.h"
54 #include "BKE_main.h"
55 #include "BKE_report.h"
56 #include "BKE_scene.h"
57 #include "BKE_screen.h"
58 #include "BKE_workspace.h"
59
60 #include "BLO_readfile.h"
61 #include "BLO_writefile.h"
62
63 #include "RNA_access.h"
64
65 #include "RE_pipeline.h"
66
67 #ifdef WITH_PYTHON
68 #  include "BPY_extern.h"
69 #endif
70
71 /* -------------------------------------------------------------------- */
72
73 /** \name High Level `.blend` file read/write.
74  * \{ */
75
76 static bool clean_paths_visit_cb(void *UNUSED(userdata), char *path_dst, const char *path_src)
77 {
78         strcpy(path_dst, path_src);
79         BLI_path_native_slash(path_dst);
80         return !STREQ(path_dst, path_src);
81 }
82
83 /* make sure path names are correct for OS */
84 static void clean_paths(Main *main)
85 {
86         Scene *scene;
87
88         BKE_bpath_traverse_main(main, clean_paths_visit_cb, BKE_BPATH_TRAVERSE_SKIP_MULTIFILE, NULL);
89
90         for (scene = main->scene.first; scene; scene = scene->id.next) {
91                 BLI_path_native_slash(scene->r.pic);
92         }
93 }
94
95 static bool wm_scene_is_visible(wmWindowManager *wm, Scene *scene)
96 {
97         wmWindow *win;
98         for (win = wm->windows.first; win; win = win->next) {
99                 if (win->scene == scene) {
100                         return true;
101                 }
102         }
103         return false;
104 }
105
106 /**
107  * Context matching, handle no-ui case
108  *
109  * \note this is called on Undo so any slow conversion functions here
110  * should be avoided or check (mode != LOAD_UNDO).
111  *
112  * \param bfd: Blend file data, freed by this function on exit.
113  * \param filepath: File path or identifier.
114  */
115 static void setup_app_data(
116         bContext *C, BlendFileData *bfd,
117         const char *filepath, ReportList *reports)
118 {
119         Scene *curscene = NULL;
120         const bool is_startup = (bfd->filename[0] == '\0');
121         const bool recover = (G.fileflags & G_FILE_RECOVER) != 0;
122         enum {
123                 LOAD_UI = 1,
124                 LOAD_UI_OFF,
125                 LOAD_UNDO,
126         } mode;
127
128         /* may happen with library files - UNDO file should never have NULL cursccene... */
129         if (ELEM(NULL, bfd->curscreen, bfd->curscene)) {
130                 BKE_report(reports, RPT_WARNING, "Library file, loading empty scene");
131                 mode = LOAD_UI_OFF;
132         }
133         else if (BLI_listbase_is_empty(&bfd->main->screen)) {
134                 mode = LOAD_UNDO;
135         }
136         else if ((G.fileflags & G_FILE_NO_UI) && (is_startup == false)) {
137                 mode = LOAD_UI_OFF;
138         }
139         else {
140                 mode = LOAD_UI;
141         }
142
143         /* Free all render results, without this stale data gets displayed after loading files */
144         if (mode != LOAD_UNDO) {
145                 RE_FreeAllRenderResults();
146         }
147
148         /* Only make filepaths compatible when loading for real (not undo) */
149         if (mode != LOAD_UNDO) {
150                 clean_paths(bfd->main);
151         }
152
153         /* XXX here the complex windowmanager matching */
154
155         /* no load screens? */
156         if (mode != LOAD_UI) {
157                 /* Logic for 'track_undo_scene' is to keep using the scene which the active screen has,
158                  * as long as the scene associated with the undo operation is visible in one of the open windows.
159                  *
160                  * - 'curscreen->scene' - scene the user is currently looking at.
161                  * - 'bfd->curscene' - scene undo-step was created in.
162                  *
163                  * This means users can have 2+ windows open and undo in both without screens switching.
164                  * But if they close one of the screens,
165                  * undo will ensure that the scene being operated on will be activated
166                  * (otherwise we'd be undoing on an off-screen scene which isn't acceptable).
167                  * see: T43424
168                  */
169                 wmWindow *win;
170                 bScreen *curscreen = NULL;
171                 SceneLayer *cur_render_layer;
172                 bool track_undo_scene;
173
174                 /* comes from readfile.c */
175                 SWAP(ListBase, G.main->wm, bfd->main->wm);
176                 SWAP(ListBase, G.main->workspaces, bfd->main->workspaces);
177                 SWAP(ListBase, G.main->screen, bfd->main->screen);
178
179                 /* we re-use current window and screen */
180                 win = CTX_wm_window(C);
181                 curscreen = CTX_wm_screen(C);
182                 /* but use Scene pointer from new file */
183                 curscene = bfd->curscene;
184                 cur_render_layer = bfd->cur_render_layer;
185
186                 track_undo_scene = (mode == LOAD_UNDO && curscreen && curscene && bfd->main->wm.first);
187
188                 if (curscene == NULL) {
189                         curscene = bfd->main->scene.first;
190                 }
191                 /* empty file, we add a scene to make Blender work */
192                 if (curscene == NULL) {
193                         curscene = BKE_scene_add(bfd->main, "Empty");
194                 }
195                 if (cur_render_layer == NULL) {
196                         /* fallback to scene layer */
197                         cur_render_layer = BKE_scene_layer_from_scene_get(curscene);
198                 }
199
200                 if (track_undo_scene) {
201                         /* keep the old (free'd) scene, let 'blo_lib_link_screen_restore'
202                          * replace it with 'curscene' if its needed */
203                 }
204                 /* and we enforce curscene to be in current screen */
205                 else if (win) { /* can run in bgmode */
206                         win->scene = curscene;
207                 }
208
209                 /* BKE_blender_globals_clear will free G.main, here we can still restore pointers */
210                 blo_lib_link_restore(bfd->main, CTX_wm_manager(C), curscene, cur_render_layer);
211                 if (win) {
212                         curscene = win->scene;
213                 }
214
215                 if (track_undo_scene) {
216                         wmWindowManager *wm = bfd->main->wm.first;
217                         if (wm_scene_is_visible(wm, bfd->curscene) == false) {
218                                 curscene = bfd->curscene;
219                                 BKE_screen_view3d_scene_sync(curscreen, curscene);
220                         }
221                 }
222
223                 /* We need to tag this here because events may be handled immediately after.
224                  * only the current screen is important because we wont have to handle
225                  * events from multiple screens at once.*/
226                 {
227                         BKE_screen_manipulator_tag_refresh(curscreen);
228                 }
229         }
230
231         /* free G.main Main database */
232 //      CTX_wm_manager_set(C, NULL);
233         BKE_blender_globals_clear();
234
235         /* clear old property update cache, in case some old references are left dangling */
236         RNA_property_update_cache_free();
237
238         G.main = bfd->main;
239
240         CTX_data_main_set(C, G.main);
241
242         if (bfd->user) {
243
244                 /* only here free userdef themes... */
245                 BKE_blender_userdef_free_data(&U);
246
247                 U = *bfd->user;
248
249                 /* Security issue: any blend file could include a USER block.
250                  *
251                  * Currently we load prefs from BLENDER_STARTUP_FILE and later on load BLENDER_USERPREF_FILE,
252                  * to load the preferences defined in the users home dir.
253                  *
254                  * This means we will never accidentally (or maliciously)
255                  * enable scripts auto-execution by loading a '.blend' file.
256                  */
257                 U.flag |= USER_SCRIPT_AUTOEXEC_DISABLE;
258
259                 MEM_freeN(bfd->user);
260         }
261
262         /* case G_FILE_NO_UI or no screens in file */
263         if (mode != LOAD_UI) {
264                 /* leave entire context further unaltered? */
265                 CTX_data_scene_set(C, curscene);
266         }
267         else {
268                 /* Keep state from preferences. */
269                 const int fileflags_skip = G_FILE_FLAGS_RUNTIME;
270                 G.fileflags = (G.fileflags & fileflags_skip) | (bfd->fileflags & ~fileflags_skip);
271                 CTX_wm_manager_set(C, G.main->wm.first);
272                 CTX_wm_screen_set(C, bfd->curscreen);
273                 CTX_data_scene_set(C, bfd->curscene);
274                 CTX_wm_area_set(C, NULL);
275                 CTX_wm_region_set(C, NULL);
276                 CTX_wm_menu_set(C, NULL);
277                 curscene = bfd->curscene;
278         }
279
280         /* this can happen when active scene was lib-linked, and doesn't exist anymore */
281         if (CTX_data_scene(C) == NULL) {
282                 wmWindow *win = CTX_wm_window(C);
283
284                 /* in case we don't even have a local scene, add one */
285                 if (!G.main->scene.first)
286                         BKE_scene_add(G.main, "Empty");
287
288                 CTX_data_scene_set(C, G.main->scene.first);
289                 win->scene = CTX_data_scene(C);
290                 curscene = CTX_data_scene(C);
291         }
292
293         BLI_assert(curscene == CTX_data_scene(C));
294
295
296         /* special cases, override loaded flags: */
297         if (G.f != bfd->globalf) {
298                 const int flags_keep = (G_SWAP_EXCHANGE | G_SCRIPT_AUTOEXEC | G_SCRIPT_OVERRIDE_PREF);
299                 bfd->globalf = (bfd->globalf & ~flags_keep) | (G.f & flags_keep);
300         }
301
302
303         G.f = bfd->globalf;
304
305 #ifdef WITH_PYTHON
306         /* let python know about new main */
307         BPY_context_update(C);
308 #endif
309
310         /* FIXME: this version patching should really be part of the file-reading code,
311          * but we still get too many unrelated data-corruption crashes otherwise... */
312         if (G.main->versionfile < 250)
313                 do_versions_ipos_to_animato(G.main);
314
315         G.main->recovered = 0;
316
317         /* startup.blend or recovered startup */
318         if (bfd->filename[0] == 0) {
319                 G.main->name[0] = 0;
320         }
321         else if (recover && G.relbase_valid) {
322                 /* in case of autosave or quit.blend, use original filename instead
323                  * use relbase_valid to make sure the file is saved, else we get <memory2> in the filename */
324                 filepath = bfd->filename;
325                 G.main->recovered = 1;
326
327                 /* these are the same at times, should never copy to the same location */
328                 if (G.main->name != filepath)
329                         BLI_strncpy(G.main->name, filepath, FILE_MAX);
330         }
331
332         /* baseflags, groups, make depsgraph, etc */
333         /* first handle case if other windows have different scenes visible */
334         if (mode == LOAD_UI) {
335                 wmWindowManager *wm = G.main->wm.first;
336
337                 if (wm) {
338                         for (wmWindow *win = wm->windows.first; win; win = win->next) {
339                                 if (win->scene && win->scene != curscene) {
340                                         BKE_scene_set_background(G.main, win->scene);
341                                 }
342                         }
343                 }
344         }
345
346         /* Setting scene might require having a dependency graph, with copy on write
347          * we need to make sure we ensure scene has correct color management before
348          * constructing dependency graph.
349          */
350         if (mode != LOAD_UNDO) {
351                 IMB_colormanagement_check_file_config(G.main);
352         }
353
354         BKE_scene_set_background(G.main, curscene);
355
356         if (mode != LOAD_UNDO) {
357                 /* TODO(sergey): Can this be also move above? */
358                 RE_FreeAllPersistentData();
359         }
360
361         MEM_freeN(bfd);
362
363 }
364
365 static int handle_subversion_warning(Main *main, ReportList *reports)
366 {
367         if (main->minversionfile > BLENDER_VERSION ||
368             (main->minversionfile == BLENDER_VERSION &&
369              main->minsubversionfile > BLENDER_SUBVERSION))
370         {
371                 BKE_reportf(reports, RPT_ERROR, "File written by newer Blender binary (%d.%d), expect loss of data!",
372                             main->minversionfile, main->minsubversionfile);
373         }
374
375         return 1;
376 }
377
378 int BKE_blendfile_read(
379         bContext *C, const char *filepath,
380         ReportList *reports, int skip_flags)
381 {
382         BlendFileData *bfd;
383         int retval = BKE_BLENDFILE_READ_OK;
384
385         /* don't print user-pref loading */
386         if (strstr(filepath, BLENDER_STARTUP_FILE) == NULL) {
387                 printf("Read blend: %s\n", filepath);
388         }
389
390         bfd = BLO_read_from_file(filepath, reports, skip_flags);
391         if (bfd) {
392                 if (bfd->user) {
393                         retval = BKE_BLENDFILE_READ_OK_USERPREFS;
394                 }
395
396                 if (0 == handle_subversion_warning(bfd->main, reports)) {
397                         BKE_main_free(bfd->main);
398                         MEM_freeN(bfd);
399                         bfd = NULL;
400                         retval = BKE_BLENDFILE_READ_FAIL;
401                 }
402                 else {
403                         setup_app_data(C, bfd, filepath, reports);
404                 }
405         }
406         else
407                 BKE_reports_prependf(reports, "Loading '%s' failed: ", filepath);
408
409         return (bfd ? retval : BKE_BLENDFILE_READ_FAIL);
410 }
411
412 bool BKE_blendfile_read_from_memory(
413         bContext *C, const void *filebuf, int filelength,
414         ReportList *reports, int skip_flags, bool update_defaults)
415 {
416         BlendFileData *bfd;
417
418         bfd = BLO_read_from_memory(filebuf, filelength, reports, skip_flags);
419         if (bfd) {
420                 if (update_defaults)
421                         BLO_update_defaults_startup_blend(bfd->main);
422                 setup_app_data(C, bfd, "<memory2>", reports);
423         }
424         else {
425                 BKE_reports_prepend(reports, "Loading failed: ");
426         }
427
428         return (bfd != NULL);
429 }
430
431 /* memfile is the undo buffer */
432 bool BKE_blendfile_read_from_memfile(
433         bContext *C, struct MemFile *memfile,
434         ReportList *reports, int skip_flags)
435 {
436         BlendFileData *bfd;
437
438         bfd = BLO_read_from_memfile(CTX_data_main(C), G.main->name, memfile, reports, skip_flags);
439         if (bfd) {
440                 /* remove the unused screens and wm */
441                 while (bfd->main->wm.first)
442                         BKE_libblock_free(bfd->main, bfd->main->wm.first);
443                 while (bfd->main->screen.first)
444                         BKE_libblock_free(bfd->main, bfd->main->screen.first);
445
446                 setup_app_data(C, bfd, "<memory1>", reports);
447         }
448         else {
449                 BKE_reports_prepend(reports, "Loading failed: ");
450         }
451
452         return (bfd != NULL);
453 }
454
455 /**
456  * Utility to make a file 'empty' used for startup to optionally give an empty file.
457  * Handy for tests.
458  */
459 void BKE_blendfile_read_make_empty(bContext *C)
460 {
461         Main *bmain = CTX_data_main(C);
462
463         ListBase *lbarray[MAX_LIBARRAY];
464         ID *id;
465         int a;
466
467         a = set_listbasepointers(bmain, lbarray);
468         while (a--) {
469                 id = lbarray[a]->first;
470                 if (id != NULL) {
471                         if (ELEM(GS(id->name), ID_SCE, ID_SCR, ID_WM)) {
472                                 continue;
473                         }
474                         while ((id = lbarray[a]->first)) {
475                                 BKE_libblock_delete(bmain, id);
476                         }
477                 }
478         }
479 }
480
481 /* only read the userdef from a .blend */
482 UserDef *BKE_blendfile_userdef_read(const char *filepath, ReportList *reports)
483 {
484         BlendFileData *bfd;
485         UserDef *userdef = NULL;
486
487         bfd = BLO_read_from_file(filepath, reports, BLO_READ_SKIP_ALL & ~BLO_READ_SKIP_USERDEF);
488         if (bfd) {
489                 if (bfd->user) {
490                         userdef = bfd->user;
491                 }
492                 BKE_main_free(bfd->main);
493                 MEM_freeN(bfd);
494         }
495
496         return userdef;
497 }
498
499
500 UserDef *BKE_blendfile_userdef_read_from_memory(
501         const void *filebuf, int filelength,
502         ReportList *reports)
503 {
504         BlendFileData *bfd;
505         UserDef *userdef = NULL;
506
507         bfd = BLO_read_from_memory(filebuf, filelength, reports, BLO_READ_SKIP_ALL & ~BLO_READ_SKIP_USERDEF);
508         if (bfd) {
509                 if (bfd->user) {
510                         userdef = bfd->user;
511                 }
512                 BKE_main_free(bfd->main);
513                 MEM_freeN(bfd);
514         }
515         else {
516                 BKE_reports_prepend(reports, "Loading failed: ");
517         }
518
519         return userdef;
520 }
521
522
523 /* only write the userdef in a .blend */
524 int BKE_blendfile_userdef_write(const char *filepath, ReportList *reports)
525 {
526         Main *mainb = MEM_callocN(sizeof(Main), "empty main");
527         int retval = 0;
528
529         if (BLO_write_file(mainb, filepath, G_FILE_USERPREFS, reports, NULL)) {
530                 retval = 1;
531         }
532
533         MEM_freeN(mainb);
534
535         return retval;
536 }
537
538 WorkspaceConfigFileData *BKE_blendfile_workspace_config_read(const char *filepath, ReportList *reports)
539 {
540         BlendFileData *bfd;
541         WorkspaceConfigFileData *workspace_config = NULL;
542
543         bfd = BLO_read_from_file(filepath, reports, BLO_READ_SKIP_USERDEF);
544         if (bfd) {
545                 workspace_config = MEM_mallocN(sizeof(*workspace_config), __func__);
546                 workspace_config->main = bfd->main;
547                 workspace_config->workspaces = bfd->main->workspaces;
548
549                 MEM_freeN(bfd);
550         }
551
552         return workspace_config;
553 }
554
555 bool BKE_blendfile_workspace_config_write(Main *bmain, const char *filepath, ReportList *reports)
556 {
557         int fileflags = G.fileflags & ~(G_FILE_NO_UI | G_FILE_AUTOPLAY | G_FILE_HISTORY);
558         bool retval = false;
559
560         BKE_blendfile_write_partial_begin(bmain);
561
562         for (WorkSpace *workspace = bmain->workspaces.first; workspace; workspace = workspace->id.next) {
563                 BKE_blendfile_write_partial_tag_ID(&workspace->id, true);
564         }
565
566         if (BKE_blendfile_write_partial(bmain, filepath, fileflags, reports)) {
567                 retval = true;
568         }
569
570         BKE_blendfile_write_partial_end(bmain);
571
572         return retval;
573 }
574
575 void BKE_blendfile_workspace_config_data_free(WorkspaceConfigFileData *workspace_config)
576 {
577         BKE_main_free(workspace_config->main);
578         MEM_freeN(workspace_config);
579 }
580
581 /** \} */
582
583
584 /* -------------------------------------------------------------------- */
585
586 /** \name Partial `.blend` file save.
587  * \{ */
588
589 void BKE_blendfile_write_partial_begin(Main *bmain_src)
590 {
591         BKE_main_id_tag_all(bmain_src, LIB_TAG_NEED_EXPAND | LIB_TAG_DOIT, false);
592 }
593
594 void BKE_blendfile_write_partial_tag_ID(ID *id, bool set)
595 {
596         if (set) {
597                 id->tag |= LIB_TAG_NEED_EXPAND | LIB_TAG_DOIT;
598         }
599         else {
600                 id->tag &= ~(LIB_TAG_NEED_EXPAND | LIB_TAG_DOIT);
601         }
602 }
603
604 static void blendfile_write_partial_cb(void *UNUSED(handle), Main *UNUSED(bmain), void *vid)
605 {
606         if (vid) {
607                 ID *id = vid;
608                 /* only tag for need-expand if not done, prevents eternal loops */
609                 if ((id->tag & LIB_TAG_DOIT) == 0)
610                         id->tag |= LIB_TAG_NEED_EXPAND | LIB_TAG_DOIT;
611
612                 if (id->lib && (id->lib->id.tag & LIB_TAG_DOIT) == 0)
613                         id->lib->id.tag |= LIB_TAG_DOIT;
614         }
615 }
616
617 /**
618  * \return Success.
619  */
620 bool BKE_blendfile_write_partial(
621         Main *bmain_src, const char *filepath, const int write_flags, ReportList *reports)
622 {
623         Main *bmain_dst = MEM_callocN(sizeof(Main), "copybuffer");
624         ListBase *lbarray_dst[MAX_LIBARRAY], *lbarray_src[MAX_LIBARRAY];
625         int a, retval;
626
627         void     *path_list_backup = NULL;
628         const int path_list_flag = (BKE_BPATH_TRAVERSE_SKIP_LIBRARY | BKE_BPATH_TRAVERSE_SKIP_MULTIFILE);
629
630         /* This is needed to be able to load that file as a real one later
631          * (otherwise main->name will not be set at read time). */
632         BLI_strncpy(bmain_dst->name, bmain_src->name, sizeof(bmain_dst->name));
633
634         if (write_flags & G_FILE_RELATIVE_REMAP) {
635                 path_list_backup = BKE_bpath_list_backup(bmain_src, path_list_flag);
636         }
637
638         BLO_main_expander(blendfile_write_partial_cb);
639         BLO_expand_main(NULL, bmain_src);
640
641         /* move over all tagged blocks */
642         set_listbasepointers(bmain_src, lbarray_src);
643         a = set_listbasepointers(bmain_dst, lbarray_dst);
644         while (a--) {
645                 ID *id, *nextid;
646                 ListBase *lb_dst = lbarray_dst[a], *lb_src = lbarray_src[a];
647
648                 for (id = lb_src->first; id; id = nextid) {
649                         nextid = id->next;
650                         if (id->tag & LIB_TAG_DOIT) {
651                                 BLI_remlink(lb_src, id);
652                                 BLI_addtail(lb_dst, id);
653                         }
654                 }
655         }
656
657
658         /* save the buffer */
659         retval = BLO_write_file(bmain_dst, filepath, write_flags, reports, NULL);
660
661         /* move back the main, now sorted again */
662         set_listbasepointers(bmain_src, lbarray_dst);
663         a = set_listbasepointers(bmain_dst, lbarray_src);
664         while (a--) {
665                 ID *id;
666                 ListBase *lb_dst = lbarray_dst[a], *lb_src = lbarray_src[a];
667
668                 while ((id = BLI_pophead(lb_src))) {
669                         BLI_addtail(lb_dst, id);
670                         id_sort_by_name(lb_dst, id);
671                 }
672         }
673
674         MEM_freeN(bmain_dst);
675
676         if (path_list_backup) {
677                 BKE_bpath_list_restore(bmain_src, path_list_flag, path_list_backup);
678                 BKE_bpath_list_free(path_list_backup);
679         }
680
681         return retval;
682 }
683
684 void BKE_blendfile_write_partial_end(Main *bmain_src)
685 {
686         BKE_main_id_tag_all(bmain_src, LIB_TAG_NEED_EXPAND | LIB_TAG_DOIT, false);
687 }
688
689 /** \} */