Cleanup: style, use braces for blenkernel
[blender.git] / source / blender / blenkernel / intern / library_remap.c
1 /*
2  * This program is free software; you can redistribute it and/or
3  * modify it under the terms of the GNU General Public License
4  * as published by the Free Software Foundation; either version 2
5  * of the License, or (at your option) any later version.
6  *
7  * This program is distributed in the hope that it will be useful,
8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
10  * GNU General Public License for more details.
11  *
12  * You should have received a copy of the GNU General Public License
13  * along with this program; if not, write to the Free Software Foundation,
14  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
15  */
16
17 /** \file
18  * \ingroup bke
19  *
20  * Contains management of ID's and libraries remap, unlink and free logic.
21  */
22
23 #include <stdio.h>
24 #include <ctype.h>
25 #include <string.h>
26 #include <stdlib.h>
27 #include <stddef.h>
28 #include <assert.h>
29
30 #include "CLG_log.h"
31
32 #include "MEM_guardedalloc.h"
33
34 /* all types are needed here, in order to do memory operations */
35 #include "DNA_anim_types.h"
36 #include "DNA_armature_types.h"
37 #include "DNA_brush_types.h"
38 #include "DNA_camera_types.h"
39 #include "DNA_cachefile_types.h"
40 #include "DNA_collection_types.h"
41 #include "DNA_gpencil_types.h"
42 #include "DNA_ipo_types.h"
43 #include "DNA_key_types.h"
44 #include "DNA_light_types.h"
45 #include "DNA_lattice_types.h"
46 #include "DNA_linestyle_types.h"
47 #include "DNA_material_types.h"
48 #include "DNA_mesh_types.h"
49 #include "DNA_meta_types.h"
50 #include "DNA_movieclip_types.h"
51 #include "DNA_mask_types.h"
52 #include "DNA_node_types.h"
53 #include "DNA_object_types.h"
54 #include "DNA_lightprobe_types.h"
55 #include "DNA_scene_types.h"
56 #include "DNA_screen_types.h"
57 #include "DNA_speaker_types.h"
58 #include "DNA_sound_types.h"
59 #include "DNA_text_types.h"
60 #include "DNA_vfont_types.h"
61 #include "DNA_windowmanager_types.h"
62 #include "DNA_workspace_types.h"
63 #include "DNA_world_types.h"
64
65 #include "BLI_blenlib.h"
66 #include "BLI_utildefines.h"
67
68 #include "BKE_action.h"
69 #include "BKE_animsys.h"
70 #include "BKE_armature.h"
71 #include "BKE_brush.h"
72 #include "BKE_camera.h"
73 #include "BKE_cachefile.h"
74 #include "BKE_collection.h"
75 #include "BKE_curve.h"
76 #include "BKE_fcurve.h"
77 #include "BKE_font.h"
78 #include "BKE_gpencil.h"
79 #include "BKE_idprop.h"
80 #include "BKE_image.h"
81 #include "BKE_ipo.h"
82 #include "BKE_key.h"
83 #include "BKE_light.h"
84 #include "BKE_lattice.h"
85 #include "BKE_layer.h"
86 #include "BKE_library.h"
87 #include "BKE_library_override.h"
88 #include "BKE_library_query.h"
89 #include "BKE_library_remap.h"
90 #include "BKE_linestyle.h"
91 #include "BKE_mesh.h"
92 #include "BKE_material.h"
93 #include "BKE_main.h"
94 #include "BKE_mask.h"
95 #include "BKE_mball.h"
96 #include "BKE_modifier.h"
97 #include "BKE_movieclip.h"
98 #include "BKE_multires.h"
99 #include "BKE_node.h"
100 #include "BKE_object.h"
101 #include "BKE_paint.h"
102 #include "BKE_particle.h"
103 #include "BKE_lightprobe.h"
104 #include "BKE_speaker.h"
105 #include "BKE_sound.h"
106 #include "BKE_screen.h"
107 #include "BKE_scene.h"
108 #include "BKE_text.h"
109 #include "BKE_texture.h"
110 #include "BKE_workspace.h"
111 #include "BKE_world.h"
112
113 #include "DEG_depsgraph.h"
114 #include "DEG_depsgraph_build.h"
115
116 #ifdef WITH_PYTHON
117 #  include "BPY_extern.h"
118 #endif
119
120 static CLG_LogRef LOG = {"bke.library_remap"};
121
122 static BKE_library_free_window_manager_cb free_windowmanager_cb = NULL;
123
124 void BKE_library_callback_free_window_manager_set(BKE_library_free_window_manager_cb func)
125 {
126   free_windowmanager_cb = func;
127 }
128
129 static BKE_library_free_notifier_reference_cb free_notifier_reference_cb = NULL;
130
131 void BKE_library_callback_free_notifier_reference_set(BKE_library_free_notifier_reference_cb func)
132 {
133   free_notifier_reference_cb = func;
134 }
135
136 static BKE_library_remap_editor_id_reference_cb remap_editor_id_reference_cb = NULL;
137
138 void BKE_library_callback_remap_editor_id_reference_set(
139     BKE_library_remap_editor_id_reference_cb func)
140 {
141   remap_editor_id_reference_cb = func;
142 }
143
144 typedef struct IDRemap {
145   Main *bmain; /* Only used to trigger depsgraph updates in the right bmain. */
146   ID *old_id;
147   ID *new_id;
148   /** The ID in which we are replacing old_id by new_id usages. */
149   ID *id;
150   short flag;
151
152   /* 'Output' data. */
153   short status;
154   /** Number of direct usecases that could not be remapped (e.g.: obdata when in edit mode). */
155   int skipped_direct;
156   /** Number of indirect usecases that could not be remapped. */
157   int skipped_indirect;
158   /** Number of skipped usecases that refcount the datablock. */
159   int skipped_refcounted;
160 } IDRemap;
161
162 /* IDRemap->flag enums defined in BKE_library.h */
163
164 /* IDRemap->status */
165 enum {
166   /* *** Set by callback. *** */
167   ID_REMAP_IS_LINKED_DIRECT = 1 << 0,    /* new_id is directly linked in current .blend. */
168   ID_REMAP_IS_USER_ONE_SKIPPED = 1 << 1, /* There was some skipped 'user_one' usages of old_id. */
169 };
170
171 static int foreach_libblock_remap_callback(void *user_data, ID *id_self, ID **id_p, int cb_flag)
172 {
173   if (cb_flag & IDWALK_CB_PRIVATE) {
174     return IDWALK_RET_NOP;
175   }
176
177   IDRemap *id_remap_data = user_data;
178   ID *old_id = id_remap_data->old_id;
179   ID *new_id = id_remap_data->new_id;
180   ID *id = id_remap_data->id;
181
182   if (!old_id) { /* Used to cleanup all IDs used by a specific one. */
183     BLI_assert(!new_id);
184     old_id = *id_p;
185   }
186
187   if (*id_p && (*id_p == old_id)) {
188     /* Better remap to NULL than not remapping at all, then we can handle it as a regular remap-to-NULL case... */
189     if ((cb_flag & IDWALK_CB_NEVER_SELF) && (new_id == id_self)) {
190       new_id = NULL;
191     }
192
193     const bool is_reference = (cb_flag & IDWALK_CB_STATIC_OVERRIDE_REFERENCE) != 0;
194     const bool is_indirect = (cb_flag & IDWALK_CB_INDIRECT_USAGE) != 0;
195     const bool skip_indirect = (id_remap_data->flag & ID_REMAP_SKIP_INDIRECT_USAGE) != 0;
196     /* Note: proxy usage implies LIB_TAG_EXTERN, so on this aspect it is direct,
197      *       on the other hand since they get reset to lib data on file open/reload it is indirect too...
198      *       Edit Mode is also a 'skip direct' case. */
199     const bool is_obj = (GS(id->name) == ID_OB);
200     const bool is_obj_proxy = (is_obj && (((Object *)id)->proxy || ((Object *)id)->proxy_group));
201     const bool is_obj_editmode = (is_obj && BKE_object_is_in_editmode((Object *)id));
202     const bool is_never_null = ((cb_flag & IDWALK_CB_NEVER_NULL) && (new_id == NULL) &&
203                                 (id_remap_data->flag & ID_REMAP_FORCE_NEVER_NULL_USAGE) == 0);
204     const bool skip_reference = (id_remap_data->flag & ID_REMAP_SKIP_STATIC_OVERRIDE) != 0;
205     const bool skip_never_null = (id_remap_data->flag & ID_REMAP_SKIP_NEVER_NULL_USAGE) != 0;
206
207 #ifdef DEBUG_PRINT
208     printf(
209         "In %s (lib %p): Remapping %s (%p) to %s (%p) "
210         "(is_indirect: %d, skip_indirect: %d, is_reference: %d, skip_reference: %d)\n",
211         id->name,
212         id->lib,
213         old_id->name,
214         old_id,
215         new_id ? new_id->name : "<NONE>",
216         new_id,
217         is_indirect,
218         skip_indirect,
219         is_reference,
220         skip_reference);
221 #endif
222
223     if ((id_remap_data->flag & ID_REMAP_FLAG_NEVER_NULL_USAGE) &&
224         (cb_flag & IDWALK_CB_NEVER_NULL)) {
225       id->tag |= LIB_TAG_DOIT;
226     }
227
228     /* Special hack in case it's Object->data and we are in edit mode, and new_id is not NULL
229      * (otherwise, we follow common NEVER_NULL flags).
230      * (skipped_indirect too). */
231     if ((is_never_null && skip_never_null) ||
232         (is_obj_editmode && (((Object *)id)->data == *id_p) && new_id != NULL) ||
233         (skip_indirect && is_indirect) || (is_reference && skip_reference)) {
234       if (is_indirect) {
235         id_remap_data->skipped_indirect++;
236         if (is_obj) {
237           Object *ob = (Object *)id;
238           if (ob->data == *id_p && ob->proxy != NULL) {
239             /* And another 'Proudly brought to you by Proxy Hell' hack!
240              * This will allow us to avoid clearing 'LIB_EXTERN' flag of obdata of proxies... */
241             id_remap_data->skipped_direct++;
242           }
243         }
244       }
245       else if (is_never_null || is_obj_editmode || is_reference) {
246         id_remap_data->skipped_direct++;
247       }
248       else {
249         BLI_assert(0);
250       }
251       if (cb_flag & IDWALK_CB_USER) {
252         id_remap_data->skipped_refcounted++;
253       }
254       else if (cb_flag & IDWALK_CB_USER_ONE) {
255         /* No need to count number of times this happens, just a flag is enough. */
256         id_remap_data->status |= ID_REMAP_IS_USER_ONE_SKIPPED;
257       }
258     }
259     else {
260       if (!is_never_null) {
261         *id_p = new_id;
262         DEG_id_tag_update_ex(id_remap_data->bmain,
263                              id_self,
264                              ID_RECALC_COPY_ON_WRITE | ID_RECALC_TRANSFORM | ID_RECALC_GEOMETRY);
265       }
266       if (cb_flag & IDWALK_CB_USER) {
267         /* NOTE: We don't user-count IDs which are not in the main database.
268          * This is because in certain conditions we can have datablocks in
269          * the main which are referencing datablocks outside of it.
270          * For example, BKE_mesh_new_from_object() called on an evaluated
271          * object will cause such situation.
272          */
273         if ((old_id->tag & LIB_TAG_NO_MAIN) == 0) {
274           id_us_min(old_id);
275         }
276         if (new_id != NULL && (new_id->tag & LIB_TAG_NO_MAIN) == 0) {
277           /* We do not want to handle LIB_TAG_INDIRECT/LIB_TAG_EXTERN here. */
278           new_id->us++;
279         }
280       }
281       else if (cb_flag & IDWALK_CB_USER_ONE) {
282         id_us_ensure_real(new_id);
283         /* We cannot affect old_id->us directly, LIB_TAG_EXTRAUSER(_SET) are assumed to be set as needed,
284          * that extra user is processed in final handling... */
285       }
286       if (!is_indirect || is_obj_proxy) {
287         id_remap_data->status |= ID_REMAP_IS_LINKED_DIRECT;
288       }
289     }
290   }
291
292   return IDWALK_RET_NOP;
293 }
294
295 static void libblock_remap_data_preprocess(IDRemap *r_id_remap_data)
296 {
297   switch (GS(r_id_remap_data->id->name)) {
298     case ID_OB: {
299       ID *old_id = r_id_remap_data->old_id;
300       if (!old_id || GS(old_id->name) == ID_AR) {
301         Object *ob = (Object *)r_id_remap_data->id;
302         /* Object's pose holds reference to armature bones... sic */
303         /* Note that in theory, we should have to bother about linked/non-linked/never-null/etc. flags/states.
304          * Fortunately, this is just a tag, so we can accept to 'over-tag' a bit for pose recalc, and avoid
305          * another complex and risky condition nightmare like the one we have in
306          * foreach_libblock_remap_callback()... */
307         if (ob->pose && (!old_id || ob->data == old_id)) {
308           BLI_assert(ob->type == OB_ARMATURE);
309           ob->pose->flag |= POSE_RECALC;
310           /* We need to clear pose bone pointers immediately, things like undo writefile may be called
311            * before pose is actually recomputed, can lead to segfault... */
312           BKE_pose_clear_pointers(ob->pose);
313         }
314       }
315       break;
316     }
317     default:
318       break;
319   }
320 }
321
322 /* Can be called with both old_ob and new_ob being NULL, this means we have to check whole Main database then. */
323 static void libblock_remap_data_postprocess_object_update(Main *bmain,
324                                                           Object *old_ob,
325                                                           Object *new_ob)
326 {
327   if (new_ob == NULL) {
328     /* In case we unlinked old_ob (new_ob is NULL), the object has already
329      * been removed from the scenes and their collections. We still have
330      * to remove the NULL children from collections not used in any scene. */
331     BKE_collections_object_remove_nulls(bmain);
332   }
333
334   BKE_main_collection_sync_remap(bmain);
335
336   if (old_ob == NULL) {
337     for (Object *ob = bmain->objects.first; ob != NULL; ob = ob->id.next) {
338       if (ob->type == OB_MBALL && BKE_mball_is_basis(ob)) {
339         DEG_id_tag_update(&ob->id, ID_RECALC_GEOMETRY);
340       }
341     }
342   }
343   else {
344     for (Object *ob = bmain->objects.first; ob != NULL; ob = ob->id.next) {
345       if (ob->type == OB_MBALL && BKE_mball_is_basis_for(ob, old_ob)) {
346         DEG_id_tag_update(&ob->id, ID_RECALC_GEOMETRY);
347         break; /* There is only one basis... */
348       }
349     }
350   }
351 }
352
353 /* Can be called with both old_collection and new_collection being NULL,
354  * this means we have to check whole Main database then. */
355 static void libblock_remap_data_postprocess_collection_update(Main *bmain,
356                                                               Collection *UNUSED(old_collection),
357                                                               Collection *new_collection)
358 {
359   if (new_collection == NULL) {
360     /* XXX Complex cases can lead to NULL pointers in other collections than old_collection,
361      * and BKE_main_collection_sync_remap() does not tolerate any of those, so for now always check whole
362      * existing collections for NULL pointers.
363      * I'd consider optimizing that whole collection remapping process a TODO for later. */
364     BKE_collections_child_remove_nulls(bmain, NULL /*old_collection*/);
365   }
366
367   BKE_main_collection_sync_remap(bmain);
368 }
369
370 static void libblock_remap_data_postprocess_obdata_relink(Main *bmain, Object *ob, ID *new_id)
371 {
372   if (ob->data == new_id) {
373     switch (GS(new_id->name)) {
374       case ID_ME:
375         multires_force_update(ob);
376         break;
377       case ID_CU:
378         BKE_curve_type_test(ob);
379         break;
380       default:
381         break;
382     }
383     test_object_modifiers(ob);
384     test_object_materials(bmain, ob, new_id);
385   }
386 }
387
388 static void libblock_remap_data_postprocess_nodetree_update(Main *bmain, ID *new_id)
389 {
390   /* Verify all nodetree user nodes. */
391   ntreeVerifyNodes(bmain, new_id);
392
393   /* Update node trees as necessary. */
394   FOREACH_NODETREE_BEGIN (bmain, ntree, id) {
395     /* make an update call for the tree */
396     ntreeUpdateTree(bmain, ntree);
397   }
398   FOREACH_NODETREE_END;
399 }
400
401 /**
402  * Execute the 'data' part of the remapping (that is, all ID pointers from other ID datablocks).
403  *
404  * Behavior differs depending on whether given \a id is NULL or not:
405  * - \a id NULL: \a old_id must be non-NULL, \a new_id may be NULL (unlinking \a old_id) or not
406  *   (remapping \a old_id to \a new_id). The whole \a bmain database is checked, and all pointers to \a old_id
407  *   are remapped to \a new_id.
408  * - \a id is non-NULL:
409  *   + If \a old_id is NULL, \a new_id must also be NULL, and all ID pointers from \a id are cleared (i.e. \a id
410  *     does not references any other datablock anymore).
411  *   + If \a old_id is non-NULL, behavior is as with a NULL \a id, but only within given \a id.
412  *
413  * \param bmain: the Main data storage to operate on (must never be NULL).
414  * \param id: the datablock to operate on (can be NULL, in which case we operate over all IDs from given bmain).
415  * \param old_id: the datablock to dereference (may be NULL if \a id is non-NULL).
416  * \param new_id: the new datablock to replace \a old_id references with (may be NULL).
417  * \param r_id_remap_data: if non-NULL, the IDRemap struct to use (uselful to retrieve info about remapping process).
418  */
419 ATTR_NONNULL(1)
420 static void libblock_remap_data(
421     Main *bmain, ID *id, ID *old_id, ID *new_id, const short remap_flags, IDRemap *r_id_remap_data)
422 {
423   IDRemap id_remap_data;
424   const int foreach_id_flags = (remap_flags & ID_REMAP_NO_INDIRECT_PROXY_DATA_USAGE) != 0 ?
425                                    IDWALK_NO_INDIRECT_PROXY_DATA_USAGE :
426                                    IDWALK_NOP;
427
428   if (r_id_remap_data == NULL) {
429     r_id_remap_data = &id_remap_data;
430   }
431   r_id_remap_data->bmain = bmain;
432   r_id_remap_data->old_id = old_id;
433   r_id_remap_data->new_id = new_id;
434   r_id_remap_data->id = NULL;
435   r_id_remap_data->flag = remap_flags;
436   r_id_remap_data->status = 0;
437   r_id_remap_data->skipped_direct = 0;
438   r_id_remap_data->skipped_indirect = 0;
439   r_id_remap_data->skipped_refcounted = 0;
440
441   if (id) {
442 #ifdef DEBUG_PRINT
443     printf("\tchecking id %s (%p, %p)\n", id->name, id, id->lib);
444 #endif
445     r_id_remap_data->id = id;
446     libblock_remap_data_preprocess(r_id_remap_data);
447     BKE_library_foreach_ID_link(
448         NULL, id, foreach_libblock_remap_callback, (void *)r_id_remap_data, foreach_id_flags);
449   }
450   else {
451     /* Note that this is a very 'brute force' approach, maybe we could use some depsgraph to only process
452      * objects actually using given old_id... sounds rather unlikely currently, though, so this will do for now. */
453     ID *id_curr;
454
455     FOREACH_MAIN_ID_BEGIN (bmain, id_curr) {
456       if (BKE_library_id_can_use_idtype(id_curr, GS(old_id->name))) {
457         /* Note that we cannot skip indirect usages of old_id here (if requested), we still need to check it for
458          * the user count handling...
459          * XXX No more true (except for debug usage of those skipping counters). */
460         r_id_remap_data->id = id_curr;
461         libblock_remap_data_preprocess(r_id_remap_data);
462         BKE_library_foreach_ID_link(NULL,
463                                     id_curr,
464                                     foreach_libblock_remap_callback,
465                                     (void *)r_id_remap_data,
466                                     foreach_id_flags);
467       }
468     }
469     FOREACH_MAIN_ID_END;
470   }
471
472   /* XXX We may not want to always 'transfer' fakeuser from old to new id... Think for now it's desired behavior
473    *     though, we can always add an option (flag) to control this later if needed. */
474   if (old_id && (old_id->flag & LIB_FAKEUSER)) {
475     id_fake_user_clear(old_id);
476     id_fake_user_set(new_id);
477   }
478
479   id_us_clear_real(old_id);
480
481   if (new_id && (new_id->tag & LIB_TAG_INDIRECT) &&
482       (r_id_remap_data->status & ID_REMAP_IS_LINKED_DIRECT)) {
483     new_id->tag &= ~LIB_TAG_INDIRECT;
484     new_id->tag |= LIB_TAG_EXTERN;
485   }
486
487 #ifdef DEBUG_PRINT
488   printf("%s: %d occurrences skipped (%d direct and %d indirect ones)\n",
489          __func__,
490          r_id_remap_data->skipped_direct + r_id_remap_data->skipped_indirect,
491          r_id_remap_data->skipped_direct,
492          r_id_remap_data->skipped_indirect);
493 #endif
494 }
495
496 /**
497  * Replace all references in given Main to \a old_id by \a new_id
498  * (if \a new_id is NULL, it unlinks \a old_id).
499  */
500 void BKE_libblock_remap_locked(Main *bmain, void *old_idv, void *new_idv, const short remap_flags)
501 {
502   IDRemap id_remap_data;
503   ID *old_id = old_idv;
504   ID *new_id = new_idv;
505   int skipped_direct, skipped_refcounted;
506
507   BLI_assert(old_id != NULL);
508   BLI_assert((new_id == NULL) || GS(old_id->name) == GS(new_id->name));
509   BLI_assert(old_id != new_id);
510
511   libblock_remap_data(bmain, NULL, old_id, new_id, remap_flags, &id_remap_data);
512
513   if (free_notifier_reference_cb) {
514     free_notifier_reference_cb(old_id);
515   }
516
517   /* We assume editors do not hold references to their IDs... This is false in some cases
518    * (Image is especially tricky here), editors' code is to handle refcount (id->us) itself then. */
519   if (remap_editor_id_reference_cb) {
520     remap_editor_id_reference_cb(old_id, new_id);
521   }
522
523   skipped_direct = id_remap_data.skipped_direct;
524   skipped_refcounted = id_remap_data.skipped_refcounted;
525
526   /* If old_id was used by some ugly 'user_one' stuff (like Image or Clip editors...), and user count has actually
527    * been incremented for that, we have to decrease once more its user count... unless we had to skip
528    * some 'user_one' cases. */
529   if ((old_id->tag & LIB_TAG_EXTRAUSER_SET) &&
530       !(id_remap_data.status & ID_REMAP_IS_USER_ONE_SKIPPED)) {
531     id_us_clear_real(old_id);
532   }
533
534   if (old_id->us - skipped_refcounted < 0) {
535     CLOG_ERROR(&LOG,
536                "Error in remapping process from '%s' (%p) to '%s' (%p): "
537                "wrong user count in old ID after process (summing up to %d)",
538                old_id->name,
539                old_id,
540                new_id ? new_id->name : "<NULL>",
541                new_id,
542                old_id->us - skipped_refcounted);
543     BLI_assert(0);
544   }
545
546   if (skipped_direct == 0) {
547     /* old_id is assumed to not be used directly anymore... */
548     if (old_id->lib && (old_id->tag & LIB_TAG_EXTERN)) {
549       old_id->tag &= ~LIB_TAG_EXTERN;
550       old_id->tag |= LIB_TAG_INDIRECT;
551     }
552   }
553
554   /* Some after-process updates.
555    * This is a bit ugly, but cannot see a way to avoid it. Maybe we should do a per-ID callback for this instead?
556    */
557   switch (GS(old_id->name)) {
558     case ID_OB:
559       libblock_remap_data_postprocess_object_update(bmain, (Object *)old_id, (Object *)new_id);
560       break;
561     case ID_GR:
562       libblock_remap_data_postprocess_collection_update(
563           bmain, (Collection *)old_id, (Collection *)new_id);
564       break;
565     case ID_ME:
566     case ID_CU:
567     case ID_MB:
568       if (new_id) { /* Only affects us in case obdata was relinked (changed). */
569         for (Object *ob = bmain->objects.first; ob; ob = ob->id.next) {
570           libblock_remap_data_postprocess_obdata_relink(bmain, ob, new_id);
571         }
572       }
573       break;
574     default:
575       break;
576   }
577
578   /* Node trees may virtually use any kind of data-block... */
579   /* XXX Yuck!!!! nodetree update can do pretty much any thing when talking about py nodes,
580    *     including creating new data-blocks (see T50385), so we need to unlock main here. :(
581    *     Why can't we have re-entrent locks? */
582   BKE_main_unlock(bmain);
583   libblock_remap_data_postprocess_nodetree_update(bmain, new_id);
584   BKE_main_lock(bmain);
585
586   /* Full rebuild of DEG! */
587   DEG_relations_tag_update(bmain);
588 }
589
590 void BKE_libblock_remap(Main *bmain, void *old_idv, void *new_idv, const short remap_flags)
591 {
592   BKE_main_lock(bmain);
593
594   BKE_libblock_remap_locked(bmain, old_idv, new_idv, remap_flags);
595
596   BKE_main_unlock(bmain);
597 }
598
599 /**
600  * Unlink given \a id from given \a bmain (does not touch to indirect, i.e. library, usages of the ID).
601  *
602  * \param do_flag_never_null: If true, all IDs using \a idv in a 'non-NULL' way are flagged by \a LIB_TAG_DOIT flag
603  * (quite obviously, 'non-NULL' usages can never be unlinked by this function...).
604  */
605 void BKE_libblock_unlink(Main *bmain,
606                          void *idv,
607                          const bool do_flag_never_null,
608                          const bool do_skip_indirect)
609 {
610   const short remap_flags = (do_skip_indirect ? ID_REMAP_SKIP_INDIRECT_USAGE : 0) |
611                             (do_flag_never_null ? ID_REMAP_FLAG_NEVER_NULL_USAGE : 0);
612
613   BKE_main_lock(bmain);
614
615   BKE_libblock_remap_locked(bmain, idv, NULL, remap_flags);
616
617   BKE_main_unlock(bmain);
618 }
619
620 /** Similar to libblock_remap, but only affects IDs used by given \a idv ID.
621  *
622  * \param old_idv: Unlike BKE_libblock_remap, can be NULL,
623  * in which case all ID usages by given \a idv will be cleared.
624  * \param us_min_never_null: If \a true and new_id is NULL,
625  * 'NEVER_NULL' ID usages keep their old id, but this one still gets its user count decremented
626  * (needed when given \a idv is going to be deleted right after being unlinked).
627  */
628 /* Should be able to replace all _relink() funcs (constraints, rigidbody, etc.) ? */
629 /* XXX Arg! Naming... :(
630  *     _relink? avoids confusion with _remap, but is confusing with _unlink
631  *     _remap_used_ids?
632  *     _remap_datablocks?
633  *     BKE_id_remap maybe?
634  *     ... sigh
635  */
636 void BKE_libblock_relink_ex(
637     Main *bmain, void *idv, void *old_idv, void *new_idv, const bool us_min_never_null)
638 {
639   ID *id = idv;
640   ID *old_id = old_idv;
641   ID *new_id = new_idv;
642   int remap_flags = us_min_never_null ? 0 : ID_REMAP_SKIP_NEVER_NULL_USAGE;
643
644   /* No need to lock here, we are only affecting given ID, not bmain database. */
645
646   BLI_assert(id);
647   if (old_id) {
648     BLI_assert((new_id == NULL) || GS(old_id->name) == GS(new_id->name));
649     BLI_assert(old_id != new_id);
650   }
651   else {
652     BLI_assert(new_id == NULL);
653   }
654
655   libblock_remap_data(bmain, id, old_id, new_id, remap_flags, NULL);
656
657   /* Some after-process updates.
658    * This is a bit ugly, but cannot see a way to avoid it. Maybe we should do a per-ID callback for this instead?
659    */
660   switch (GS(id->name)) {
661     case ID_SCE: {
662       if (old_id) {
663         switch (GS(old_id->name)) {
664           case ID_OB:
665             libblock_remap_data_postprocess_object_update(
666                 bmain, (Object *)old_id, (Object *)new_id);
667             break;
668           case ID_GR:
669             libblock_remap_data_postprocess_collection_update(
670                 bmain, (Collection *)old_id, (Collection *)new_id);
671             break;
672           default:
673             break;
674         }
675       }
676       else {
677         /* No choice but to check whole objects/collections. */
678         libblock_remap_data_postprocess_collection_update(bmain, NULL, NULL);
679         libblock_remap_data_postprocess_object_update(bmain, NULL, NULL);
680       }
681       break;
682     }
683     case ID_OB:
684       if (new_id) { /* Only affects us in case obdata was relinked (changed). */
685         libblock_remap_data_postprocess_obdata_relink(bmain, (Object *)id, new_id);
686       }
687       break;
688     default:
689       break;
690   }
691 }
692
693 static int id_relink_to_newid_looper(void *UNUSED(user_data),
694                                      ID *UNUSED(self_id),
695                                      ID **id_pointer,
696                                      const int cb_flag)
697 {
698   if (cb_flag & IDWALK_CB_PRIVATE) {
699     return IDWALK_RET_NOP;
700   }
701
702   ID *id = *id_pointer;
703   if (id) {
704     /* See: NEW_ID macro */
705     if (id->newid) {
706       BKE_library_update_ID_link_user(id->newid, id, cb_flag);
707       *id_pointer = id->newid;
708     }
709     else if (id->tag & LIB_TAG_NEW) {
710       id->tag &= ~LIB_TAG_NEW;
711       BKE_libblock_relink_to_newid(id);
712     }
713   }
714   return IDWALK_RET_NOP;
715 }
716
717 /** Similar to libblock_relink_ex, but is remapping IDs to their newid value if non-NULL, in given \a id.
718  *
719  * Very specific usage, not sure we'll keep it on the long run, currently only used in Object/Collection duplication code...
720  */
721 void BKE_libblock_relink_to_newid(ID *id)
722 {
723   if (ID_IS_LINKED(id)) {
724     return;
725   }
726
727   BKE_library_foreach_ID_link(NULL, id, id_relink_to_newid_looper, NULL, 0);
728 }
729
730 void BKE_libblock_free_data(ID *id, const bool do_id_user)
731 {
732   if (id->properties) {
733     IDP_FreeProperty_ex(id->properties, do_id_user);
734     MEM_freeN(id->properties);
735   }
736
737   if (id->override_static) {
738     BKE_override_static_free(&id->override_static);
739   }
740
741   /* XXX TODO remove animdata handling from each type's freeing func, and do it here, like for copy! */
742 }
743
744 void BKE_libblock_free_datablock(ID *id, const int UNUSED(flag))
745 {
746   const short type = GS(id->name);
747   switch (type) {
748     case ID_SCE:
749       BKE_scene_free_ex((Scene *)id, false);
750       break;
751     case ID_LI:
752       BKE_library_free((Library *)id);
753       break;
754     case ID_OB:
755       BKE_object_free((Object *)id);
756       break;
757     case ID_ME:
758       BKE_mesh_free((Mesh *)id);
759       break;
760     case ID_CU:
761       BKE_curve_free((Curve *)id);
762       break;
763     case ID_MB:
764       BKE_mball_free((MetaBall *)id);
765       break;
766     case ID_MA:
767       BKE_material_free((Material *)id);
768       break;
769     case ID_TE:
770       BKE_texture_free((Tex *)id);
771       break;
772     case ID_IM:
773       BKE_image_free((Image *)id);
774       break;
775     case ID_LT:
776       BKE_lattice_free((Lattice *)id);
777       break;
778     case ID_LA:
779       BKE_light_free((Light *)id);
780       break;
781     case ID_CA:
782       BKE_camera_free((Camera *)id);
783       break;
784     case ID_IP: /* Deprecated. */
785       BKE_ipo_free((Ipo *)id);
786       break;
787     case ID_KE:
788       BKE_key_free((Key *)id);
789       break;
790     case ID_WO:
791       BKE_world_free((World *)id);
792       break;
793     case ID_SCR:
794       BKE_screen_free((bScreen *)id);
795       break;
796     case ID_VF:
797       BKE_vfont_free((VFont *)id);
798       break;
799     case ID_TXT:
800       BKE_text_free((Text *)id);
801       break;
802     case ID_SPK:
803       BKE_speaker_free((Speaker *)id);
804       break;
805     case ID_LP:
806       BKE_lightprobe_free((LightProbe *)id);
807       break;
808     case ID_SO:
809       BKE_sound_free((bSound *)id);
810       break;
811     case ID_GR:
812       BKE_collection_free((Collection *)id);
813       break;
814     case ID_AR:
815       BKE_armature_free((bArmature *)id);
816       break;
817     case ID_AC:
818       BKE_action_free((bAction *)id);
819       break;
820     case ID_NT:
821       ntreeFreeTree((bNodeTree *)id);
822       break;
823     case ID_BR:
824       BKE_brush_free((Brush *)id);
825       break;
826     case ID_PA:
827       BKE_particlesettings_free((ParticleSettings *)id);
828       break;
829     case ID_WM:
830       if (free_windowmanager_cb) {
831         free_windowmanager_cb(NULL, (wmWindowManager *)id);
832       }
833       break;
834     case ID_GD:
835       BKE_gpencil_free((bGPdata *)id, true);
836       break;
837     case ID_MC:
838       BKE_movieclip_free((MovieClip *)id);
839       break;
840     case ID_MSK:
841       BKE_mask_free((Mask *)id);
842       break;
843     case ID_LS:
844       BKE_linestyle_free((FreestyleLineStyle *)id);
845       break;
846     case ID_PAL:
847       BKE_palette_free((Palette *)id);
848       break;
849     case ID_PC:
850       BKE_paint_curve_free((PaintCurve *)id);
851       break;
852     case ID_CF:
853       BKE_cachefile_free((CacheFile *)id);
854       break;
855     case ID_WS:
856       BKE_workspace_free((WorkSpace *)id);
857       break;
858   }
859 }
860
861 /**
862  * Complete ID freeing, extended version for corner cases.
863  * Can override default (and safe!) freeing process, to gain some speed up.
864  *
865  * At that point, given id is assumed to not be used by any other data-block already
866  * (might not be actually true, in case e.g. several inter-related IDs get freed together...).
867  * However, they might still be using (referencing) other IDs, this code takes care of it if
868  * \a LIB_TAG_NO_USER_REFCOUNT is not defined.
869  *
870  * \param bmain: Main database containing the freed ID, can be NULL in case it's a temp ID outside of any Main.
871  * \param idv: Pointer to ID to be freed.
872  * \param flag: Set of \a LIB_ID_FREE_... flags controlling/overriding usual freeing process,
873  * 0 to get default safe behavior.
874  * \param use_flag_from_idtag: Still use freeing info flags from given ID datablock,
875  * even if some overriding ones are passed in \a flag parameter.
876  */
877 void BKE_id_free_ex(Main *bmain, void *idv, int flag, const bool use_flag_from_idtag)
878 {
879   ID *id = idv;
880
881   if (use_flag_from_idtag) {
882     if ((id->tag & LIB_TAG_NO_MAIN) != 0) {
883       flag |= LIB_ID_FREE_NO_MAIN | LIB_ID_FREE_NO_UI_USER | LIB_ID_FREE_NO_DEG_TAG;
884     }
885     else {
886       flag &= ~LIB_ID_FREE_NO_MAIN;
887     }
888
889     if ((id->tag & LIB_TAG_NO_USER_REFCOUNT) != 0) {
890       flag |= LIB_ID_FREE_NO_USER_REFCOUNT;
891     }
892     else {
893       flag &= ~LIB_ID_FREE_NO_USER_REFCOUNT;
894     }
895
896     if ((id->tag & LIB_TAG_NOT_ALLOCATED) != 0) {
897       flag |= LIB_ID_FREE_NOT_ALLOCATED;
898     }
899     else {
900       flag &= ~LIB_ID_FREE_NOT_ALLOCATED;
901     }
902   }
903
904   BLI_assert((flag & LIB_ID_FREE_NO_MAIN) != 0 || bmain != NULL);
905   BLI_assert((flag & LIB_ID_FREE_NO_MAIN) != 0 || (flag & LIB_ID_FREE_NOT_ALLOCATED) == 0);
906   BLI_assert((flag & LIB_ID_FREE_NO_MAIN) != 0 || (flag & LIB_ID_FREE_NO_USER_REFCOUNT) == 0);
907
908   const short type = GS(id->name);
909
910   if (bmain && (flag & LIB_ID_FREE_NO_DEG_TAG) == 0) {
911     DEG_id_type_tag(bmain, type);
912   }
913
914 #ifdef WITH_PYTHON
915 #  ifdef WITH_PYTHON_SAFETY
916   BPY_id_release(id);
917 #  endif
918   if (id->py_instance) {
919     BPY_DECREF_RNA_INVALIDATE(id->py_instance);
920   }
921 #endif
922
923   if ((flag & LIB_ID_FREE_NO_USER_REFCOUNT) == 0) {
924     BKE_libblock_relink_ex(bmain, id, NULL, NULL, true);
925   }
926
927   BKE_libblock_free_datablock(id, flag);
928
929   /* avoid notifying on removed data */
930   if ((flag & LIB_ID_FREE_NO_MAIN) == 0) {
931     BKE_main_lock(bmain);
932   }
933
934   if ((flag & LIB_ID_FREE_NO_UI_USER) == 0) {
935     if (free_notifier_reference_cb) {
936       free_notifier_reference_cb(id);
937     }
938
939     if (remap_editor_id_reference_cb) {
940       remap_editor_id_reference_cb(id, NULL);
941     }
942   }
943
944   if ((flag & LIB_ID_FREE_NO_MAIN) == 0) {
945     ListBase *lb = which_libbase(bmain, type);
946     BLI_remlink(lb, id);
947   }
948
949   BKE_libblock_free_data(id, (flag & LIB_ID_FREE_NO_USER_REFCOUNT) == 0);
950
951   if ((flag & LIB_ID_FREE_NO_MAIN) == 0) {
952     BKE_main_unlock(bmain);
953   }
954
955   if ((flag & LIB_ID_FREE_NOT_ALLOCATED) == 0) {
956     MEM_freeN(id);
957   }
958 }
959
960 /**
961  * Complete ID freeing, should be usable in most cases (even for out-of-Main IDs).
962  *
963  * See #BKE_id_free_ex description for full details.
964  *
965  * \param bmain: Main database containing the freed ID, can be NULL in case it's a temp ID outside of any Main.
966  * \param idv: Pointer to ID to be freed.
967  */
968 void BKE_id_free(Main *bmain, void *idv)
969 {
970   BKE_id_free_ex(bmain, idv, 0, true);
971 }
972
973 /**
974  * Not really a freeing function by itself, it decrements usercount of given id, and only frees it if it reaches 0.
975  */
976 void BKE_id_free_us(Main *bmain, void *idv) /* test users */
977 {
978   ID *id = idv;
979
980   id_us_min(id);
981
982   /* XXX This is a temp (2.77) hack so that we keep same behavior as in 2.76 regarding collections when deleting an object.
983    *     Since only 'user_one' usage of objects is collections, and only 'real user' usage of objects is scenes,
984    *     removing that 'user_one' tag when there is no more real (scene) users of an object ensures it gets
985    *     fully unlinked.
986    *     But only for local objects, not linked ones!
987    *     Otherwise, there is no real way to get rid of an object anymore - better handling of this is TODO.
988    */
989   if ((GS(id->name) == ID_OB) && (id->us == 1) && (id->lib == NULL)) {
990     id_us_clear_real(id);
991   }
992
993   if (id->us == 0) {
994     BKE_libblock_unlink(bmain, id, false, false);
995
996     BKE_id_free(bmain, id);
997   }
998 }
999
1000 static void id_delete(Main *bmain, const bool do_tagged_deletion)
1001 {
1002   const int tag = LIB_TAG_DOIT;
1003   ListBase *lbarray[MAX_LIBARRAY];
1004   Link dummy_link = {0};
1005   int base_count, i;
1006
1007   /* Used by batch tagged deletion, when we call BKE_id_free then, id is no more in Main database,
1008    * and has already properly unlinked its other IDs usages.
1009    * UI users are always cleared in BKE_libblock_remap_locked() call, so we can always skip it. */
1010   const int free_flag = LIB_ID_FREE_NO_UI_USER |
1011                         (do_tagged_deletion ? LIB_ID_FREE_NO_MAIN | LIB_ID_FREE_NO_USER_REFCOUNT :
1012                                               0);
1013   ListBase tagged_deleted_ids = {NULL};
1014
1015   base_count = set_listbasepointers(bmain, lbarray);
1016
1017   BKE_main_lock(bmain);
1018   if (do_tagged_deletion) {
1019     /* Main idea of batch deletion is to remove all IDs to be deleted from Main database.
1020      * This means that we won't have to loop over all deleted IDs to remove usages
1021      * of other deleted IDs.
1022      * This gives tremendous speed-up when deleting a large amount of IDs from a Main
1023      * containing thousands of those.
1024      * This also means that we have to be very careful here, as we by-pass many 'common'
1025      * processing, hence risking to 'corrupt' at least user counts, if not IDs themselves. */
1026     bool keep_looping = true;
1027     while (keep_looping) {
1028       ID *id, *id_next;
1029       ID *last_remapped_id = tagged_deleted_ids.last;
1030       keep_looping = false;
1031
1032       /* First tag and remove from Main all datablocks directly from target lib.
1033        * Note that we go forward here, since we want to check dependencies before users
1034        * (e.g. meshes before objects). Avoids to have to loop twice. */
1035       for (i = 0; i < base_count; i++) {
1036         ListBase *lb = lbarray[i];
1037
1038         for (id = lb->first; id; id = id_next) {
1039           id_next = id->next;
1040           /* Note: in case we delete a library, we also delete all its datablocks! */
1041           if ((id->tag & tag) || (id->lib != NULL && (id->lib->id.tag & tag))) {
1042             BLI_remlink(lb, id);
1043             BLI_addtail(&tagged_deleted_ids, id);
1044             /* Do not tag as no_main now, we want to unlink it first (lower-level ID management code
1045              * has some specific handling of 'nom main' IDs that would be a problem in that case). */
1046             id->tag |= tag;
1047             keep_looping = true;
1048           }
1049         }
1050       }
1051       if (last_remapped_id == NULL) {
1052         dummy_link.next = tagged_deleted_ids.first;
1053         last_remapped_id = (ID *)(&dummy_link);
1054       }
1055       for (id = last_remapped_id->next; id; id = id->next) {
1056         /* Will tag 'never NULL' users of this ID too.
1057          * Note that we cannot use BKE_libblock_unlink() here, since it would ignore indirect (and proxy!)
1058          * links, this can lead to nasty crashing here in second, actual deleting loop.
1059          * Also, this will also flag users of deleted data that cannot be unlinked
1060          * (object using deleted obdata, etc.), so that they also get deleted. */
1061         BKE_libblock_remap_locked(
1062             bmain, id, NULL, ID_REMAP_FLAG_NEVER_NULL_USAGE | ID_REMAP_FORCE_NEVER_NULL_USAGE);
1063         /* Since we removed ID from Main, we also need to unlink its own other IDs usages ourself. */
1064         BKE_libblock_relink_ex(bmain, id, NULL, NULL, true);
1065         /* Now we can safely mark that ID as not being in Main database anymore. */
1066         id->tag |= LIB_TAG_NO_MAIN;
1067         /* This is needed because we may not have remapped usages of that ID by other deleted ones. */
1068         //              id->us = 0;  /* Is it actually? */
1069       }
1070     }
1071   }
1072   else {
1073     /* First tag all datablocks directly from target lib.
1074      * Note that we go forward here, since we want to check dependencies before users (e.g. meshes before objects).
1075      * Avoids to have to loop twice. */
1076     for (i = 0; i < base_count; i++) {
1077       ListBase *lb = lbarray[i];
1078       ID *id, *id_next;
1079
1080       for (id = lb->first; id; id = id_next) {
1081         id_next = id->next;
1082         /* Note: in case we delete a library, we also delete all its datablocks! */
1083         if ((id->tag & tag) || (id->lib != NULL && (id->lib->id.tag & tag))) {
1084           id->tag |= tag;
1085
1086           /* Will tag 'never NULL' users of this ID too.
1087            * Note that we cannot use BKE_libblock_unlink() here, since it would ignore indirect (and proxy!)
1088            * links, this can lead to nasty crashing here in second, actual deleting loop.
1089            * Also, this will also flag users of deleted data that cannot be unlinked
1090            * (object using deleted obdata, etc.), so that they also get deleted. */
1091           BKE_libblock_remap_locked(
1092               bmain, id, NULL, ID_REMAP_FLAG_NEVER_NULL_USAGE | ID_REMAP_FORCE_NEVER_NULL_USAGE);
1093         }
1094       }
1095     }
1096   }
1097   BKE_main_unlock(bmain);
1098
1099   /* In usual reversed order, such that all usage of a given ID, even 'never NULL' ones, have been already cleared
1100    * when we reach it (e.g. Objects being processed before meshes, they'll have already released their 'reference'
1101    * over meshes when we come to freeing obdata). */
1102   for (i = do_tagged_deletion ? 1 : base_count; i--;) {
1103     ListBase *lb = lbarray[i];
1104     ID *id, *id_next;
1105
1106     for (id = do_tagged_deletion ? tagged_deleted_ids.first : lb->first; id; id = id_next) {
1107       id_next = id->next;
1108       if (id->tag & tag) {
1109         if (id->us != 0) {
1110 #ifdef DEBUG_PRINT
1111           printf("%s: deleting %s (%d)\n", __func__, id->name, id->us);
1112 #endif
1113           BLI_assert(id->us == 0);
1114         }
1115         BKE_id_free_ex(bmain, id, free_flag, !do_tagged_deletion);
1116       }
1117     }
1118   }
1119
1120   bmain->is_memfile_undo_written = false;
1121 }
1122
1123 /**
1124  * Properly delete a single ID from given \a bmain database.
1125  */
1126 void BKE_id_delete(Main *bmain, void *idv)
1127 {
1128   BKE_main_id_tag_all(bmain, LIB_TAG_DOIT, false);
1129   ((ID *)idv)->tag |= LIB_TAG_DOIT;
1130
1131   id_delete(bmain, false);
1132 }
1133
1134 /**
1135  * Properly delete all IDs tagged with \a LIB_TAG_DOIT, in given \a bmain database.
1136  *
1137  * This is more efficient than calling #BKE_id_delete repetitively on a large set of IDs
1138  * (several times faster when deleting most of the IDs at once)...
1139  *
1140  * \warning Considered experimental for now, seems to be working OK but this is
1141  *          risky code in a complicated area.
1142  */
1143 void BKE_id_multi_tagged_delete(Main *bmain)
1144 {
1145   id_delete(bmain, true);
1146 }