Merge branch 'blender2.7'
[blender.git] / source / blender / blenkernel / intern / library_remap.c
1 /*
2  * This program is free software; you can redistribute it and/or
3  * modify it under the terms of the GNU General Public License
4  * as published by the Free Software Foundation; either version 2
5  * of the License, or (at your option) any later version.
6  *
7  * This program is distributed in the hope that it will be useful,
8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
10  * GNU General Public License for more details.
11  *
12  * You should have received a copy of the GNU General Public License
13  * along with this program; if not, write to the Free Software Foundation,
14  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
15  */
16
17 /** \file
18  * \ingroup bke
19  *
20  * Contains management of ID's and libraries remap, unlink and free logic.
21  */
22
23 #include <stdio.h>
24 #include <ctype.h>
25 #include <string.h>
26 #include <stdlib.h>
27 #include <stddef.h>
28 #include <assert.h>
29
30 #include "CLG_log.h"
31
32 #include "MEM_guardedalloc.h"
33
34 /* all types are needed here, in order to do memory operations */
35 #include "DNA_anim_types.h"
36 #include "DNA_armature_types.h"
37 #include "DNA_brush_types.h"
38 #include "DNA_camera_types.h"
39 #include "DNA_cachefile_types.h"
40 #include "DNA_collection_types.h"
41 #include "DNA_gpencil_types.h"
42 #include "DNA_ipo_types.h"
43 #include "DNA_key_types.h"
44 #include "DNA_light_types.h"
45 #include "DNA_lattice_types.h"
46 #include "DNA_linestyle_types.h"
47 #include "DNA_material_types.h"
48 #include "DNA_mesh_types.h"
49 #include "DNA_meta_types.h"
50 #include "DNA_movieclip_types.h"
51 #include "DNA_mask_types.h"
52 #include "DNA_node_types.h"
53 #include "DNA_object_types.h"
54 #include "DNA_lightprobe_types.h"
55 #include "DNA_scene_types.h"
56 #include "DNA_screen_types.h"
57 #include "DNA_speaker_types.h"
58 #include "DNA_sound_types.h"
59 #include "DNA_text_types.h"
60 #include "DNA_vfont_types.h"
61 #include "DNA_windowmanager_types.h"
62 #include "DNA_workspace_types.h"
63 #include "DNA_world_types.h"
64
65 #include "BLI_blenlib.h"
66 #include "BLI_utildefines.h"
67
68 #include "BKE_action.h"
69 #include "BKE_animsys.h"
70 #include "BKE_armature.h"
71 #include "BKE_brush.h"
72 #include "BKE_camera.h"
73 #include "BKE_cachefile.h"
74 #include "BKE_collection.h"
75 #include "BKE_curve.h"
76 #include "BKE_fcurve.h"
77 #include "BKE_font.h"
78 #include "BKE_gpencil.h"
79 #include "BKE_idprop.h"
80 #include "BKE_image.h"
81 #include "BKE_ipo.h"
82 #include "BKE_key.h"
83 #include "BKE_light.h"
84 #include "BKE_lattice.h"
85 #include "BKE_layer.h"
86 #include "BKE_library.h"
87 #include "BKE_library_override.h"
88 #include "BKE_library_query.h"
89 #include "BKE_library_remap.h"
90 #include "BKE_linestyle.h"
91 #include "BKE_mesh.h"
92 #include "BKE_material.h"
93 #include "BKE_main.h"
94 #include "BKE_mask.h"
95 #include "BKE_mball.h"
96 #include "BKE_modifier.h"
97 #include "BKE_movieclip.h"
98 #include "BKE_multires.h"
99 #include "BKE_node.h"
100 #include "BKE_object.h"
101 #include "BKE_paint.h"
102 #include "BKE_particle.h"
103 #include "BKE_lightprobe.h"
104 #include "BKE_speaker.h"
105 #include "BKE_sound.h"
106 #include "BKE_screen.h"
107 #include "BKE_scene.h"
108 #include "BKE_text.h"
109 #include "BKE_texture.h"
110 #include "BKE_workspace.h"
111 #include "BKE_world.h"
112
113 #include "DEG_depsgraph.h"
114 #include "DEG_depsgraph_build.h"
115
116 #ifdef WITH_PYTHON
117 #  include "BPY_extern.h"
118 #endif
119
120 static CLG_LogRef LOG = {"bke.library_remap"};
121
122 static BKE_library_free_window_manager_cb free_windowmanager_cb = NULL;
123
124 void BKE_library_callback_free_window_manager_set(BKE_library_free_window_manager_cb func)
125 {
126   free_windowmanager_cb = func;
127 }
128
129 static BKE_library_free_notifier_reference_cb free_notifier_reference_cb = NULL;
130
131 void BKE_library_callback_free_notifier_reference_set(BKE_library_free_notifier_reference_cb func)
132 {
133   free_notifier_reference_cb = func;
134 }
135
136 static BKE_library_remap_editor_id_reference_cb remap_editor_id_reference_cb = NULL;
137
138 void BKE_library_callback_remap_editor_id_reference_set(
139     BKE_library_remap_editor_id_reference_cb func)
140 {
141   remap_editor_id_reference_cb = func;
142 }
143
144 typedef struct IDRemap {
145   Main *bmain; /* Only used to trigger depsgraph updates in the right bmain. */
146   ID *old_id;
147   ID *new_id;
148   /** The ID in which we are replacing old_id by new_id usages. */
149   ID *id;
150   short flag;
151
152   /* 'Output' data. */
153   short status;
154   /** Number of direct usecases that could not be remapped (e.g.: obdata when in edit mode). */
155   int skipped_direct;
156   /** Number of indirect usecases that could not be remapped. */
157   int skipped_indirect;
158   /** Number of skipped usecases that refcount the datablock. */
159   int skipped_refcounted;
160 } IDRemap;
161
162 /* IDRemap->flag enums defined in BKE_library.h */
163
164 /* IDRemap->status */
165 enum {
166   /* *** Set by callback. *** */
167   ID_REMAP_IS_LINKED_DIRECT = 1 << 0,    /* new_id is directly linked in current .blend. */
168   ID_REMAP_IS_USER_ONE_SKIPPED = 1 << 1, /* There was some skipped 'user_one' usages of old_id. */
169 };
170
171 static int foreach_libblock_remap_callback(void *user_data, ID *id_self, ID **id_p, int cb_flag)
172 {
173   if (cb_flag & IDWALK_CB_PRIVATE) {
174     return IDWALK_RET_NOP;
175   }
176
177   IDRemap *id_remap_data = user_data;
178   ID *old_id = id_remap_data->old_id;
179   ID *new_id = id_remap_data->new_id;
180   ID *id = id_remap_data->id;
181
182   if (!old_id) { /* Used to cleanup all IDs used by a specific one. */
183     BLI_assert(!new_id);
184     old_id = *id_p;
185   }
186
187   if (*id_p && (*id_p == old_id)) {
188     /* Better remap to NULL than not remapping at all,
189      * then we can handle it as a regular remap-to-NULL case. */
190     if ((cb_flag & IDWALK_CB_NEVER_SELF) && (new_id == id_self)) {
191       new_id = NULL;
192     }
193
194     const bool is_reference = (cb_flag & IDWALK_CB_STATIC_OVERRIDE_REFERENCE) != 0;
195     const bool is_indirect = (cb_flag & IDWALK_CB_INDIRECT_USAGE) != 0;
196     const bool skip_indirect = (id_remap_data->flag & ID_REMAP_SKIP_INDIRECT_USAGE) != 0;
197     /* Note: proxy usage implies LIB_TAG_EXTERN, so on this aspect it is direct,
198      * on the other hand since they get reset to lib data on file open/reload it is indirect too.
199      * Edit Mode is also a 'skip direct' case. */
200     const bool is_obj = (GS(id->name) == ID_OB);
201     const bool is_obj_proxy = (is_obj && (((Object *)id)->proxy || ((Object *)id)->proxy_group));
202     const bool is_obj_editmode = (is_obj && BKE_object_is_in_editmode((Object *)id));
203     const bool is_never_null = ((cb_flag & IDWALK_CB_NEVER_NULL) && (new_id == NULL) &&
204                                 (id_remap_data->flag & ID_REMAP_FORCE_NEVER_NULL_USAGE) == 0);
205     const bool skip_reference = (id_remap_data->flag & ID_REMAP_SKIP_STATIC_OVERRIDE) != 0;
206     const bool skip_never_null = (id_remap_data->flag & ID_REMAP_SKIP_NEVER_NULL_USAGE) != 0;
207
208 #ifdef DEBUG_PRINT
209     printf(
210         "In %s (lib %p): Remapping %s (%p) to %s (%p) "
211         "(is_indirect: %d, skip_indirect: %d, is_reference: %d, skip_reference: %d)\n",
212         id->name,
213         id->lib,
214         old_id->name,
215         old_id,
216         new_id ? new_id->name : "<NONE>",
217         new_id,
218         is_indirect,
219         skip_indirect,
220         is_reference,
221         skip_reference);
222 #endif
223
224     if ((id_remap_data->flag & ID_REMAP_FLAG_NEVER_NULL_USAGE) &&
225         (cb_flag & IDWALK_CB_NEVER_NULL)) {
226       id->tag |= LIB_TAG_DOIT;
227     }
228
229     /* Special hack in case it's Object->data and we are in edit mode, and new_id is not NULL
230      * (otherwise, we follow common NEVER_NULL flags).
231      * (skipped_indirect too). */
232     if ((is_never_null && skip_never_null) ||
233         (is_obj_editmode && (((Object *)id)->data == *id_p) && new_id != NULL) ||
234         (skip_indirect && is_indirect) || (is_reference && skip_reference)) {
235       if (is_indirect) {
236         id_remap_data->skipped_indirect++;
237         if (is_obj) {
238           Object *ob = (Object *)id;
239           if (ob->data == *id_p && ob->proxy != NULL) {
240             /* And another 'Proudly brought to you by Proxy Hell' hack!
241              * This will allow us to avoid clearing 'LIB_EXTERN' flag of obdata of proxies... */
242             id_remap_data->skipped_direct++;
243           }
244         }
245       }
246       else if (is_never_null || is_obj_editmode || is_reference) {
247         id_remap_data->skipped_direct++;
248       }
249       else {
250         BLI_assert(0);
251       }
252       if (cb_flag & IDWALK_CB_USER) {
253         id_remap_data->skipped_refcounted++;
254       }
255       else if (cb_flag & IDWALK_CB_USER_ONE) {
256         /* No need to count number of times this happens, just a flag is enough. */
257         id_remap_data->status |= ID_REMAP_IS_USER_ONE_SKIPPED;
258       }
259     }
260     else {
261       if (!is_never_null) {
262         *id_p = new_id;
263         DEG_id_tag_update_ex(id_remap_data->bmain,
264                              id_self,
265                              ID_RECALC_COPY_ON_WRITE | ID_RECALC_TRANSFORM | ID_RECALC_GEOMETRY);
266       }
267       if (cb_flag & IDWALK_CB_USER) {
268         /* NOTE: We don't user-count IDs which are not in the main database.
269          * This is because in certain conditions we can have datablocks in
270          * the main which are referencing datablocks outside of it.
271          * For example, BKE_mesh_new_from_object() called on an evaluated
272          * object will cause such situation.
273          */
274         if ((old_id->tag & LIB_TAG_NO_MAIN) == 0) {
275           id_us_min(old_id);
276         }
277         if (new_id != NULL && (new_id->tag & LIB_TAG_NO_MAIN) == 0) {
278           /* We do not want to handle LIB_TAG_INDIRECT/LIB_TAG_EXTERN here. */
279           new_id->us++;
280         }
281       }
282       else if (cb_flag & IDWALK_CB_USER_ONE) {
283         id_us_ensure_real(new_id);
284         /* We cannot affect old_id->us directly, LIB_TAG_EXTRAUSER(_SET)
285          * are assumed to be set as needed, that extra user is processed in final handling. */
286       }
287       if (!is_indirect || is_obj_proxy) {
288         id_remap_data->status |= ID_REMAP_IS_LINKED_DIRECT;
289       }
290       /* We need to remap proxy_from pointer of remapped proxy... sigh. */
291       if (is_obj_proxy && new_id != NULL) {
292         Object *ob = (Object *)id;
293         if (ob->proxy == (Object *)new_id) {
294           ob->proxy->proxy_from = ob;
295         }
296       }
297     }
298   }
299
300   return IDWALK_RET_NOP;
301 }
302
303 static void libblock_remap_data_preprocess(IDRemap *r_id_remap_data)
304 {
305   switch (GS(r_id_remap_data->id->name)) {
306     case ID_OB: {
307       ID *old_id = r_id_remap_data->old_id;
308       if (!old_id || GS(old_id->name) == ID_AR) {
309         Object *ob = (Object *)r_id_remap_data->id;
310         /* Object's pose holds reference to armature bones... sic */
311         /* Note that in theory, we should have to bother about
312          * linked/non-linked/never-null/etc. flags/states.
313          * Fortunately, this is just a tag, so we can accept to 'over-tag' a bit for pose recalc,
314          * and avoid another complex and risky condition nightmare like the one we have in
315          * foreach_libblock_remap_callback()... */
316         if (ob->pose && (!old_id || ob->data == old_id)) {
317           BLI_assert(ob->type == OB_ARMATURE);
318           ob->pose->flag |= POSE_RECALC;
319           /* We need to clear pose bone pointers immediately, things like undo writefile may be
320            * called before pose is actually recomputed, can lead to segfault... */
321           BKE_pose_clear_pointers(ob->pose);
322         }
323       }
324       break;
325     }
326     default:
327       break;
328   }
329 }
330
331 /**
332  * Can be called with both old_ob and new_ob being NULL,
333  * this means we have to check whole Main database then.
334  */
335 static void libblock_remap_data_postprocess_object_update(Main *bmain,
336                                                           Object *old_ob,
337                                                           Object *new_ob)
338 {
339   if (new_ob == NULL) {
340     /* In case we unlinked old_ob (new_ob is NULL), the object has already
341      * been removed from the scenes and their collections. We still have
342      * to remove the NULL children from collections not used in any scene. */
343     BKE_collections_object_remove_nulls(bmain);
344   }
345
346   BKE_main_collection_sync_remap(bmain);
347
348   if (old_ob == NULL) {
349     for (Object *ob = bmain->objects.first; ob != NULL; ob = ob->id.next) {
350       if (ob->type == OB_MBALL && BKE_mball_is_basis(ob)) {
351         DEG_id_tag_update(&ob->id, ID_RECALC_GEOMETRY);
352       }
353     }
354   }
355   else {
356     for (Object *ob = bmain->objects.first; ob != NULL; ob = ob->id.next) {
357       if (ob->type == OB_MBALL && BKE_mball_is_basis_for(ob, old_ob)) {
358         DEG_id_tag_update(&ob->id, ID_RECALC_GEOMETRY);
359         break; /* There is only one basis... */
360       }
361     }
362   }
363 }
364
365 /* Can be called with both old_collection and new_collection being NULL,
366  * this means we have to check whole Main database then. */
367 static void libblock_remap_data_postprocess_collection_update(Main *bmain,
368                                                               Collection *UNUSED(old_collection),
369                                                               Collection *new_collection)
370 {
371   if (new_collection == NULL) {
372     /* XXX Complex cases can lead to NULL pointers in other collections than old_collection,
373      * and BKE_main_collection_sync_remap() does not tolerate any of those, so for now always check
374      * whole existing collections for NULL pointers.
375      * I'd consider optimizing that whole collection remapping process a TODO for later. */
376     BKE_collections_child_remove_nulls(bmain, NULL /*old_collection*/);
377   }
378   else {
379     /* Temp safe fix, but a "tad" brute force... We should probably be able to use parents from
380      * old_collection instead? */
381     BKE_main_collections_parent_relations_rebuild(bmain);
382   }
383
384   BKE_main_collection_sync_remap(bmain);
385 }
386
387 static void libblock_remap_data_postprocess_obdata_relink(Main *bmain, Object *ob, ID *new_id)
388 {
389   if (ob->data == new_id) {
390     switch (GS(new_id->name)) {
391       case ID_ME:
392         multires_force_update(ob);
393         break;
394       case ID_CU:
395         BKE_curve_type_test(ob);
396         break;
397       default:
398         break;
399     }
400     test_object_modifiers(ob);
401     test_object_materials(bmain, ob, new_id);
402   }
403 }
404
405 static void libblock_remap_data_postprocess_nodetree_update(Main *bmain, ID *new_id)
406 {
407   /* Update all group nodes using a node group. */
408   ntreeUpdateAllUsers(bmain, new_id);
409 }
410
411 /**
412  * Execute the 'data' part of the remapping (that is, all ID pointers from other ID datablocks).
413  *
414  * Behavior differs depending on whether given \a id is NULL or not:
415  * - \a id NULL: \a old_id must be non-NULL, \a new_id may be NULL (unlinking \a old_id) or not
416  *   (remapping \a old_id to \a new_id).
417  *   The whole \a bmain database is checked, and all pointers to \a old_id
418  *   are remapped to \a new_id.
419  * - \a id is non-NULL:
420  *   + If \a old_id is NULL, \a new_id must also be NULL,
421  *     and all ID pointers from \a id are cleared
422  *     (i.e. \a id does not references any other datablock anymore).
423  *   + If \a old_id is non-NULL, behavior is as with a NULL \a id, but only within given \a id.
424  *
425  * \param bmain: the Main data storage to operate on (must never be NULL).
426  * \param id: the datablock to operate on
427  * (can be NULL, in which case we operate over all IDs from given bmain).
428  * \param old_id: the datablock to dereference (may be NULL if \a id is non-NULL).
429  * \param new_id: the new datablock to replace \a old_id references with (may be NULL).
430  * \param r_id_remap_data: if non-NULL, the IDRemap struct to use
431  * (uselful to retrieve info about remapping process).
432  */
433 ATTR_NONNULL(1)
434 static void libblock_remap_data(
435     Main *bmain, ID *id, ID *old_id, ID *new_id, const short remap_flags, IDRemap *r_id_remap_data)
436 {
437   IDRemap id_remap_data;
438   const int foreach_id_flags = (remap_flags & ID_REMAP_NO_INDIRECT_PROXY_DATA_USAGE) != 0 ?
439                                    IDWALK_NO_INDIRECT_PROXY_DATA_USAGE :
440                                    IDWALK_NOP;
441
442   if (r_id_remap_data == NULL) {
443     r_id_remap_data = &id_remap_data;
444   }
445   r_id_remap_data->bmain = bmain;
446   r_id_remap_data->old_id = old_id;
447   r_id_remap_data->new_id = new_id;
448   r_id_remap_data->id = NULL;
449   r_id_remap_data->flag = remap_flags;
450   r_id_remap_data->status = 0;
451   r_id_remap_data->skipped_direct = 0;
452   r_id_remap_data->skipped_indirect = 0;
453   r_id_remap_data->skipped_refcounted = 0;
454
455   if (id) {
456 #ifdef DEBUG_PRINT
457     printf("\tchecking id %s (%p, %p)\n", id->name, id, id->lib);
458 #endif
459     r_id_remap_data->id = id;
460     libblock_remap_data_preprocess(r_id_remap_data);
461     BKE_library_foreach_ID_link(
462         NULL, id, foreach_libblock_remap_callback, (void *)r_id_remap_data, foreach_id_flags);
463   }
464   else {
465     /* Note that this is a very 'brute force' approach,
466      * maybe we could use some depsgraph to only process objects actually using given old_id...
467      * sounds rather unlikely currently, though, so this will do for now. */
468     ID *id_curr;
469
470     FOREACH_MAIN_ID_BEGIN (bmain, id_curr) {
471       if (BKE_library_id_can_use_idtype(id_curr, GS(old_id->name))) {
472         /* Note that we cannot skip indirect usages of old_id here (if requested),
473          * we still need to check it for the user count handling...
474          * XXX No more true (except for debug usage of those skipping counters). */
475         r_id_remap_data->id = id_curr;
476         libblock_remap_data_preprocess(r_id_remap_data);
477         BKE_library_foreach_ID_link(NULL,
478                                     id_curr,
479                                     foreach_libblock_remap_callback,
480                                     (void *)r_id_remap_data,
481                                     foreach_id_flags);
482       }
483     }
484     FOREACH_MAIN_ID_END;
485   }
486
487   /* XXX We may not want to always 'transfer' fakeuser from old to new id...
488    *     Think for now it's desired behavior though,
489    *     we can always add an option (flag) to control this later if needed. */
490   if (old_id && (old_id->flag & LIB_FAKEUSER)) {
491     id_fake_user_clear(old_id);
492     id_fake_user_set(new_id);
493   }
494
495   id_us_clear_real(old_id);
496
497   if (new_id && (new_id->tag & LIB_TAG_INDIRECT) &&
498       (r_id_remap_data->status & ID_REMAP_IS_LINKED_DIRECT)) {
499     new_id->tag &= ~LIB_TAG_INDIRECT;
500     new_id->tag |= LIB_TAG_EXTERN;
501   }
502
503 #ifdef DEBUG_PRINT
504   printf("%s: %d occurrences skipped (%d direct and %d indirect ones)\n",
505          __func__,
506          r_id_remap_data->skipped_direct + r_id_remap_data->skipped_indirect,
507          r_id_remap_data->skipped_direct,
508          r_id_remap_data->skipped_indirect);
509 #endif
510 }
511
512 /**
513  * Replace all references in given Main to \a old_id by \a new_id
514  * (if \a new_id is NULL, it unlinks \a old_id).
515  */
516 void BKE_libblock_remap_locked(Main *bmain, void *old_idv, void *new_idv, const short remap_flags)
517 {
518   IDRemap id_remap_data;
519   ID *old_id = old_idv;
520   ID *new_id = new_idv;
521   int skipped_direct, skipped_refcounted;
522
523   BLI_assert(old_id != NULL);
524   BLI_assert((new_id == NULL) || GS(old_id->name) == GS(new_id->name));
525   BLI_assert(old_id != new_id);
526
527   libblock_remap_data(bmain, NULL, old_id, new_id, remap_flags, &id_remap_data);
528
529   if (free_notifier_reference_cb) {
530     free_notifier_reference_cb(old_id);
531   }
532
533   /* We assume editors do not hold references to their IDs... This is false in some cases
534    * (Image is especially tricky here),
535    * editors' code is to handle refcount (id->us) itself then. */
536   if (remap_editor_id_reference_cb) {
537     remap_editor_id_reference_cb(old_id, new_id);
538   }
539
540   skipped_direct = id_remap_data.skipped_direct;
541   skipped_refcounted = id_remap_data.skipped_refcounted;
542
543   /* If old_id was used by some ugly 'user_one' stuff (like Image or Clip editors...), and user
544    * count has actually been incremented for that, we have to decrease once more its user count...
545    * unless we had to skip some 'user_one' cases. */
546   if ((old_id->tag & LIB_TAG_EXTRAUSER_SET) &&
547       !(id_remap_data.status & ID_REMAP_IS_USER_ONE_SKIPPED)) {
548     id_us_clear_real(old_id);
549   }
550
551   if (old_id->us - skipped_refcounted < 0) {
552     CLOG_ERROR(&LOG,
553                "Error in remapping process from '%s' (%p) to '%s' (%p): "
554                "wrong user count in old ID after process (summing up to %d)",
555                old_id->name,
556                old_id,
557                new_id ? new_id->name : "<NULL>",
558                new_id,
559                old_id->us - skipped_refcounted);
560     BLI_assert(0);
561   }
562
563   if (skipped_direct == 0) {
564     /* old_id is assumed to not be used directly anymore... */
565     if (old_id->lib && (old_id->tag & LIB_TAG_EXTERN)) {
566       old_id->tag &= ~LIB_TAG_EXTERN;
567       old_id->tag |= LIB_TAG_INDIRECT;
568     }
569   }
570
571   /* Some after-process updates.
572    * This is a bit ugly, but cannot see a way to avoid it.
573    * Maybe we should do a per-ID callback for this instead? */
574   switch (GS(old_id->name)) {
575     case ID_OB:
576       libblock_remap_data_postprocess_object_update(bmain, (Object *)old_id, (Object *)new_id);
577       break;
578     case ID_GR:
579       libblock_remap_data_postprocess_collection_update(
580           bmain, (Collection *)old_id, (Collection *)new_id);
581       break;
582     case ID_ME:
583     case ID_CU:
584     case ID_MB:
585       if (new_id) { /* Only affects us in case obdata was relinked (changed). */
586         for (Object *ob = bmain->objects.first; ob; ob = ob->id.next) {
587           libblock_remap_data_postprocess_obdata_relink(bmain, ob, new_id);
588         }
589       }
590       break;
591     default:
592       break;
593   }
594
595   /* Node trees may virtually use any kind of data-block... */
596   /* XXX Yuck!!!! nodetree update can do pretty much any thing when talking about py nodes,
597    *     including creating new data-blocks (see T50385), so we need to unlock main here. :(
598    *     Why can't we have re-entrent locks? */
599   BKE_main_unlock(bmain);
600   libblock_remap_data_postprocess_nodetree_update(bmain, new_id);
601   BKE_main_lock(bmain);
602
603   /* Full rebuild of DEG! */
604   DEG_relations_tag_update(bmain);
605 }
606
607 void BKE_libblock_remap(Main *bmain, void *old_idv, void *new_idv, const short remap_flags)
608 {
609   BKE_main_lock(bmain);
610
611   BKE_libblock_remap_locked(bmain, old_idv, new_idv, remap_flags);
612
613   BKE_main_unlock(bmain);
614 }
615
616 /**
617  * Unlink given \a id from given \a bmain
618  * (does not touch to indirect, i.e. library, usages of the ID).
619  *
620  * \param do_flag_never_null: If true, all IDs using \a idv in a 'non-NULL' way are flagged by
621  * #LIB_TAG_DOIT flag (quite obviously, 'non-NULL' usages can never be unlinked by this function).
622  */
623 void BKE_libblock_unlink(Main *bmain,
624                          void *idv,
625                          const bool do_flag_never_null,
626                          const bool do_skip_indirect)
627 {
628   const short remap_flags = (do_skip_indirect ? ID_REMAP_SKIP_INDIRECT_USAGE : 0) |
629                             (do_flag_never_null ? ID_REMAP_FLAG_NEVER_NULL_USAGE : 0);
630
631   BKE_main_lock(bmain);
632
633   BKE_libblock_remap_locked(bmain, idv, NULL, remap_flags);
634
635   BKE_main_unlock(bmain);
636 }
637
638 /** Similar to libblock_remap, but only affects IDs used by given \a idv ID.
639  *
640  * \param old_idv: Unlike BKE_libblock_remap, can be NULL,
641  * in which case all ID usages by given \a idv will be cleared.
642  * \param us_min_never_null: If \a true and new_id is NULL,
643  * 'NEVER_NULL' ID usages keep their old id, but this one still gets its user count decremented
644  * (needed when given \a idv is going to be deleted right after being unlinked).
645  */
646 /* Should be able to replace all _relink() funcs (constraints, rigidbody, etc.) ? */
647 /* XXX Arg! Naming... :(
648  *     _relink? avoids confusion with _remap, but is confusing with _unlink
649  *     _remap_used_ids?
650  *     _remap_datablocks?
651  *     BKE_id_remap maybe?
652  *     ... sigh
653  */
654 void BKE_libblock_relink_ex(
655     Main *bmain, void *idv, void *old_idv, void *new_idv, const bool us_min_never_null)
656 {
657   ID *id = idv;
658   ID *old_id = old_idv;
659   ID *new_id = new_idv;
660   int remap_flags = us_min_never_null ? 0 : ID_REMAP_SKIP_NEVER_NULL_USAGE;
661
662   /* No need to lock here, we are only affecting given ID, not bmain database. */
663
664   BLI_assert(id);
665   if (old_id) {
666     BLI_assert((new_id == NULL) || GS(old_id->name) == GS(new_id->name));
667     BLI_assert(old_id != new_id);
668   }
669   else {
670     BLI_assert(new_id == NULL);
671   }
672
673   libblock_remap_data(bmain, id, old_id, new_id, remap_flags, NULL);
674
675   /* Some after-process updates.
676    * This is a bit ugly, but cannot see a way to avoid it.
677    * Maybe we should do a per-ID callback for this instead?
678    */
679   switch (GS(id->name)) {
680     case ID_SCE: {
681       if (old_id) {
682         switch (GS(old_id->name)) {
683           case ID_OB:
684             libblock_remap_data_postprocess_object_update(
685                 bmain, (Object *)old_id, (Object *)new_id);
686             break;
687           case ID_GR:
688             libblock_remap_data_postprocess_collection_update(
689                 bmain, (Collection *)old_id, (Collection *)new_id);
690             break;
691           default:
692             break;
693         }
694       }
695       else {
696         /* No choice but to check whole objects/collections. */
697         libblock_remap_data_postprocess_collection_update(bmain, NULL, NULL);
698         libblock_remap_data_postprocess_object_update(bmain, NULL, NULL);
699       }
700       break;
701     }
702     case ID_OB:
703       if (new_id) { /* Only affects us in case obdata was relinked (changed). */
704         libblock_remap_data_postprocess_obdata_relink(bmain, (Object *)id, new_id);
705       }
706       break;
707     default:
708       break;
709   }
710 }
711
712 static int id_relink_to_newid_looper(void *UNUSED(user_data),
713                                      ID *UNUSED(self_id),
714                                      ID **id_pointer,
715                                      const int cb_flag)
716 {
717   if (cb_flag & IDWALK_CB_PRIVATE) {
718     return IDWALK_RET_NOP;
719   }
720
721   ID *id = *id_pointer;
722   if (id) {
723     /* See: NEW_ID macro */
724     if (id->newid) {
725       BKE_library_update_ID_link_user(id->newid, id, cb_flag);
726       *id_pointer = id->newid;
727     }
728     else if (id->tag & LIB_TAG_NEW) {
729       id->tag &= ~LIB_TAG_NEW;
730       BKE_libblock_relink_to_newid(id);
731     }
732   }
733   return IDWALK_RET_NOP;
734 }
735
736 /**
737  * Similar to #libblock_relink_ex,
738  * but is remapping IDs to their newid value if non-NULL, in given \a id.
739  *
740  * Very specific usage, not sure we'll keep it on the long run,
741  * currently only used in Object/Collection duplication code...
742  */
743 void BKE_libblock_relink_to_newid(ID *id)
744 {
745   if (ID_IS_LINKED(id)) {
746     return;
747   }
748
749   BKE_library_foreach_ID_link(NULL, id, id_relink_to_newid_looper, NULL, 0);
750 }
751
752 void BKE_libblock_free_data(ID *id, const bool do_id_user)
753 {
754   if (id->properties) {
755     IDP_FreePropertyContent_ex(id->properties, do_id_user);
756     MEM_freeN(id->properties);
757   }
758
759   if (id->override_static) {
760     BKE_override_static_free(&id->override_static);
761   }
762
763   /* XXX TODO remove animdata handling from each type's freeing func,
764    * and do it here, like for copy! */
765 }
766
767 void BKE_libblock_free_datablock(ID *id, const int UNUSED(flag))
768 {
769   const short type = GS(id->name);
770   switch (type) {
771     case ID_SCE:
772       BKE_scene_free_ex((Scene *)id, false);
773       break;
774     case ID_LI:
775       BKE_library_free((Library *)id);
776       break;
777     case ID_OB:
778       BKE_object_free((Object *)id);
779       break;
780     case ID_ME:
781       BKE_mesh_free((Mesh *)id);
782       break;
783     case ID_CU:
784       BKE_curve_free((Curve *)id);
785       break;
786     case ID_MB:
787       BKE_mball_free((MetaBall *)id);
788       break;
789     case ID_MA:
790       BKE_material_free((Material *)id);
791       break;
792     case ID_TE:
793       BKE_texture_free((Tex *)id);
794       break;
795     case ID_IM:
796       BKE_image_free((Image *)id);
797       break;
798     case ID_LT:
799       BKE_lattice_free((Lattice *)id);
800       break;
801     case ID_LA:
802       BKE_light_free((Light *)id);
803       break;
804     case ID_CA:
805       BKE_camera_free((Camera *)id);
806       break;
807     case ID_IP: /* Deprecated. */
808       BKE_ipo_free((Ipo *)id);
809       break;
810     case ID_KE:
811       BKE_key_free((Key *)id);
812       break;
813     case ID_WO:
814       BKE_world_free((World *)id);
815       break;
816     case ID_SCR:
817       BKE_screen_free((bScreen *)id);
818       break;
819     case ID_VF:
820       BKE_vfont_free((VFont *)id);
821       break;
822     case ID_TXT:
823       BKE_text_free((Text *)id);
824       break;
825     case ID_SPK:
826       BKE_speaker_free((Speaker *)id);
827       break;
828     case ID_LP:
829       BKE_lightprobe_free((LightProbe *)id);
830       break;
831     case ID_SO:
832       BKE_sound_free((bSound *)id);
833       break;
834     case ID_GR:
835       BKE_collection_free((Collection *)id);
836       break;
837     case ID_AR:
838       BKE_armature_free((bArmature *)id);
839       break;
840     case ID_AC:
841       BKE_action_free((bAction *)id);
842       break;
843     case ID_NT:
844       ntreeFreeTree((bNodeTree *)id);
845       break;
846     case ID_BR:
847       BKE_brush_free((Brush *)id);
848       break;
849     case ID_PA:
850       BKE_particlesettings_free((ParticleSettings *)id);
851       break;
852     case ID_WM:
853       if (free_windowmanager_cb) {
854         free_windowmanager_cb(NULL, (wmWindowManager *)id);
855       }
856       break;
857     case ID_GD:
858       BKE_gpencil_free((bGPdata *)id, true);
859       break;
860     case ID_MC:
861       BKE_movieclip_free((MovieClip *)id);
862       break;
863     case ID_MSK:
864       BKE_mask_free((Mask *)id);
865       break;
866     case ID_LS:
867       BKE_linestyle_free((FreestyleLineStyle *)id);
868       break;
869     case ID_PAL:
870       BKE_palette_free((Palette *)id);
871       break;
872     case ID_PC:
873       BKE_paint_curve_free((PaintCurve *)id);
874       break;
875     case ID_CF:
876       BKE_cachefile_free((CacheFile *)id);
877       break;
878     case ID_WS:
879       BKE_workspace_free((WorkSpace *)id);
880       break;
881   }
882 }
883
884 /**
885  * Complete ID freeing, extended version for corner cases.
886  * Can override default (and safe!) freeing process, to gain some speed up.
887  *
888  * At that point, given id is assumed to not be used by any other data-block already
889  * (might not be actually true, in case e.g. several inter-related IDs get freed together...).
890  * However, they might still be using (referencing) other IDs, this code takes care of it if
891  * #LIB_TAG_NO_USER_REFCOUNT is not defined.
892  *
893  * \param bmain: #Main database containing the freed #ID,
894  * can be NULL in case it's a temp ID outside of any #Main.
895  * \param idv: Pointer to ID to be freed.
896  * \param flag: Set of \a LIB_ID_FREE_... flags controlling/overriding usual freeing process,
897  * 0 to get default safe behavior.
898  * \param use_flag_from_idtag: Still use freeing info flags from given #ID datablock,
899  * even if some overriding ones are passed in \a flag parameter.
900  */
901 void BKE_id_free_ex(Main *bmain, void *idv, int flag, const bool use_flag_from_idtag)
902 {
903   ID *id = idv;
904
905   if (use_flag_from_idtag) {
906     if ((id->tag & LIB_TAG_NO_MAIN) != 0) {
907       flag |= LIB_ID_FREE_NO_MAIN | LIB_ID_FREE_NO_UI_USER | LIB_ID_FREE_NO_DEG_TAG;
908     }
909     else {
910       flag &= ~LIB_ID_FREE_NO_MAIN;
911     }
912
913     if ((id->tag & LIB_TAG_NO_USER_REFCOUNT) != 0) {
914       flag |= LIB_ID_FREE_NO_USER_REFCOUNT;
915     }
916     else {
917       flag &= ~LIB_ID_FREE_NO_USER_REFCOUNT;
918     }
919
920     if ((id->tag & LIB_TAG_NOT_ALLOCATED) != 0) {
921       flag |= LIB_ID_FREE_NOT_ALLOCATED;
922     }
923     else {
924       flag &= ~LIB_ID_FREE_NOT_ALLOCATED;
925     }
926   }
927
928   BLI_assert((flag & LIB_ID_FREE_NO_MAIN) != 0 || bmain != NULL);
929   BLI_assert((flag & LIB_ID_FREE_NO_MAIN) != 0 || (flag & LIB_ID_FREE_NOT_ALLOCATED) == 0);
930   BLI_assert((flag & LIB_ID_FREE_NO_MAIN) != 0 || (flag & LIB_ID_FREE_NO_USER_REFCOUNT) == 0);
931
932   const short type = GS(id->name);
933
934   if (bmain && (flag & LIB_ID_FREE_NO_DEG_TAG) == 0) {
935     DEG_id_type_tag(bmain, type);
936   }
937
938 #ifdef WITH_PYTHON
939 #  ifdef WITH_PYTHON_SAFETY
940   BPY_id_release(id);
941 #  endif
942   if (id->py_instance) {
943     BPY_DECREF_RNA_INVALIDATE(id->py_instance);
944   }
945 #endif
946
947   if ((flag & LIB_ID_FREE_NO_USER_REFCOUNT) == 0) {
948     BKE_libblock_relink_ex(bmain, id, NULL, NULL, true);
949   }
950
951   BKE_libblock_free_datablock(id, flag);
952
953   /* avoid notifying on removed data */
954   if ((flag & LIB_ID_FREE_NO_MAIN) == 0) {
955     BKE_main_lock(bmain);
956   }
957
958   if ((flag & LIB_ID_FREE_NO_UI_USER) == 0) {
959     if (free_notifier_reference_cb) {
960       free_notifier_reference_cb(id);
961     }
962
963     if (remap_editor_id_reference_cb) {
964       remap_editor_id_reference_cb(id, NULL);
965     }
966   }
967
968   if ((flag & LIB_ID_FREE_NO_MAIN) == 0) {
969     ListBase *lb = which_libbase(bmain, type);
970     BLI_remlink(lb, id);
971   }
972
973   BKE_libblock_free_data(id, (flag & LIB_ID_FREE_NO_USER_REFCOUNT) == 0);
974
975   if ((flag & LIB_ID_FREE_NO_MAIN) == 0) {
976     BKE_main_unlock(bmain);
977   }
978
979   if ((flag & LIB_ID_FREE_NOT_ALLOCATED) == 0) {
980     MEM_freeN(id);
981   }
982 }
983
984 /**
985  * Complete ID freeing, should be usable in most cases (even for out-of-Main IDs).
986  *
987  * See #BKE_id_free_ex description for full details.
988  *
989  * \param bmain: Main database containing the freed ID,
990  * can be NULL in case it's a temp ID outside of any Main.
991  * \param idv: Pointer to ID to be freed.
992  */
993 void BKE_id_free(Main *bmain, void *idv)
994 {
995   BKE_id_free_ex(bmain, idv, 0, true);
996 }
997
998 /**
999  * Not really a freeing function by itself,
1000  * it decrements usercount of given id, and only frees it if it reaches 0.
1001  */
1002 void BKE_id_free_us(Main *bmain, void *idv) /* test users */
1003 {
1004   ID *id = idv;
1005
1006   id_us_min(id);
1007
1008   /* XXX This is a temp (2.77) hack so that we keep same behavior as in 2.76 regarding collections
1009    *     when deleting an object. Since only 'user_one' usage of objects is collections,
1010    *     and only 'real user' usage of objects is scenes, removing that 'user_one' tag when there
1011    *     is no more real (scene) users of an object ensures it gets fully unlinked.
1012    *     But only for local objects, not linked ones!
1013    *     Otherwise, there is no real way to get rid of an object anymore -
1014    *     better handling of this is TODO.
1015    */
1016   if ((GS(id->name) == ID_OB) && (id->us == 1) && (id->lib == NULL)) {
1017     id_us_clear_real(id);
1018   }
1019
1020   if (id->us == 0) {
1021     BKE_libblock_unlink(bmain, id, false, false);
1022
1023     BKE_id_free(bmain, id);
1024   }
1025 }
1026
1027 static void id_delete(Main *bmain, const bool do_tagged_deletion)
1028 {
1029   const int tag = LIB_TAG_DOIT;
1030   ListBase *lbarray[MAX_LIBARRAY];
1031   Link dummy_link = {0};
1032   int base_count, i;
1033
1034   /* Used by batch tagged deletion, when we call BKE_id_free then, id is no more in Main database,
1035    * and has already properly unlinked its other IDs usages.
1036    * UI users are always cleared in BKE_libblock_remap_locked() call, so we can always skip it. */
1037   const int free_flag = LIB_ID_FREE_NO_UI_USER |
1038                         (do_tagged_deletion ? LIB_ID_FREE_NO_MAIN | LIB_ID_FREE_NO_USER_REFCOUNT :
1039                                               0);
1040   ListBase tagged_deleted_ids = {NULL};
1041
1042   base_count = set_listbasepointers(bmain, lbarray);
1043
1044   BKE_main_lock(bmain);
1045   if (do_tagged_deletion) {
1046     /* Main idea of batch deletion is to remove all IDs to be deleted from Main database.
1047      * This means that we won't have to loop over all deleted IDs to remove usages
1048      * of other deleted IDs.
1049      * This gives tremendous speed-up when deleting a large amount of IDs from a Main
1050      * containing thousands of those.
1051      * This also means that we have to be very careful here, as we by-pass many 'common'
1052      * processing, hence risking to 'corrupt' at least user counts, if not IDs themselves. */
1053     bool keep_looping = true;
1054     while (keep_looping) {
1055       ID *id, *id_next;
1056       ID *last_remapped_id = tagged_deleted_ids.last;
1057       keep_looping = false;
1058
1059       /* First tag and remove from Main all datablocks directly from target lib.
1060        * Note that we go forward here, since we want to check dependencies before users
1061        * (e.g. meshes before objects). Avoids to have to loop twice. */
1062       for (i = 0; i < base_count; i++) {
1063         ListBase *lb = lbarray[i];
1064
1065         for (id = lb->first; id; id = id_next) {
1066           id_next = id->next;
1067           /* Note: in case we delete a library, we also delete all its datablocks! */
1068           if ((id->tag & tag) || (id->lib != NULL && (id->lib->id.tag & tag))) {
1069             BLI_remlink(lb, id);
1070             BLI_addtail(&tagged_deleted_ids, id);
1071             /* Do not tag as no_main now, we want to unlink it first (lower-level ID management
1072              * code has some specific handling of 'nom main'
1073              * IDs that would be a problem in that case). */
1074             id->tag |= tag;
1075             keep_looping = true;
1076           }
1077         }
1078       }
1079       if (last_remapped_id == NULL) {
1080         dummy_link.next = tagged_deleted_ids.first;
1081         last_remapped_id = (ID *)(&dummy_link);
1082       }
1083       for (id = last_remapped_id->next; id; id = id->next) {
1084         /* Will tag 'never NULL' users of this ID too.
1085          * Note that we cannot use BKE_libblock_unlink() here,
1086          * since it would ignore indirect (and proxy!)
1087          * links, this can lead to nasty crashing here in second, actual deleting loop.
1088          * Also, this will also flag users of deleted data that cannot be unlinked
1089          * (object using deleted obdata, etc.), so that they also get deleted. */
1090         BKE_libblock_remap_locked(
1091             bmain, id, NULL, ID_REMAP_FLAG_NEVER_NULL_USAGE | ID_REMAP_FORCE_NEVER_NULL_USAGE);
1092         /* Since we removed ID from Main,
1093          * we also need to unlink its own other IDs usages ourself. */
1094         BKE_libblock_relink_ex(bmain, id, NULL, NULL, true);
1095         /* Now we can safely mark that ID as not being in Main database anymore. */
1096         id->tag |= LIB_TAG_NO_MAIN;
1097         /* This is needed because we may not have remapped usages
1098          * of that ID by other deleted ones. */
1099         // id->us = 0;  /* Is it actually? */
1100       }
1101     }
1102   }
1103   else {
1104     /* First tag all datablocks directly from target lib.
1105      * Note that we go forward here, since we want to check dependencies before users
1106      * (e.g. meshes before objects).
1107      * Avoids to have to loop twice. */
1108     for (i = 0; i < base_count; i++) {
1109       ListBase *lb = lbarray[i];
1110       ID *id, *id_next;
1111
1112       for (id = lb->first; id; id = id_next) {
1113         id_next = id->next;
1114         /* Note: in case we delete a library, we also delete all its datablocks! */
1115         if ((id->tag & tag) || (id->lib != NULL && (id->lib->id.tag & tag))) {
1116           id->tag |= tag;
1117
1118           /* Will tag 'never NULL' users of this ID too.
1119            * Note that we cannot use BKE_libblock_unlink() here, since it would ignore indirect
1120            * (and proxy!) links, this can lead to nasty crashing here in second,
1121            * actual deleting loop.
1122            * Also, this will also flag users of deleted data that cannot be unlinked
1123            * (object using deleted obdata, etc.), so that they also get deleted. */
1124           BKE_libblock_remap_locked(
1125               bmain, id, NULL, ID_REMAP_FLAG_NEVER_NULL_USAGE | ID_REMAP_FORCE_NEVER_NULL_USAGE);
1126         }
1127       }
1128     }
1129   }
1130   BKE_main_unlock(bmain);
1131
1132   /* In usual reversed order, such that all usage of a given ID, even 'never NULL' ones,
1133    * have been already cleared when we reach it
1134    * (e.g. Objects being processed before meshes, they'll have already released their 'reference'
1135    * over meshes when we come to freeing obdata). */
1136   for (i = do_tagged_deletion ? 1 : base_count; i--;) {
1137     ListBase *lb = lbarray[i];
1138     ID *id, *id_next;
1139
1140     for (id = do_tagged_deletion ? tagged_deleted_ids.first : lb->first; id; id = id_next) {
1141       id_next = id->next;
1142       if (id->tag & tag) {
1143         if (id->us != 0) {
1144 #ifdef DEBUG_PRINT
1145           printf("%s: deleting %s (%d)\n", __func__, id->name, id->us);
1146 #endif
1147           BLI_assert(id->us == 0);
1148         }
1149         BKE_id_free_ex(bmain, id, free_flag, !do_tagged_deletion);
1150       }
1151     }
1152   }
1153
1154   bmain->is_memfile_undo_written = false;
1155 }
1156
1157 /**
1158  * Properly delete a single ID from given \a bmain database.
1159  */
1160 void BKE_id_delete(Main *bmain, void *idv)
1161 {
1162   BKE_main_id_tag_all(bmain, LIB_TAG_DOIT, false);
1163   ((ID *)idv)->tag |= LIB_TAG_DOIT;
1164
1165   id_delete(bmain, false);
1166 }
1167
1168 /**
1169  * Properly delete all IDs tagged with \a LIB_TAG_DOIT, in given \a bmain database.
1170  *
1171  * This is more efficient than calling #BKE_id_delete repetitively on a large set of IDs
1172  * (several times faster when deleting most of the IDs at once)...
1173  *
1174  * \warning Considered experimental for now, seems to be working OK but this is
1175  *          risky code in a complicated area.
1176  */
1177 void BKE_id_multi_tagged_delete(Main *bmain)
1178 {
1179   id_delete(bmain, true);
1180 }