Python/Depsgraph: bpy.data.*.is_updated now detects add/remove of any datablock.
[blender.git] / source / blender / blenkernel / intern / library.c
1 /*
2  * ***** BEGIN GPL LICENSE BLOCK *****
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License
6  * as published by the Free Software Foundation; either version 2
7  * of the License, or (at your option) any later version.
8  *
9  * This program is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12  * GNU General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software Foundation,
16  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
17  *
18  * The Original Code is Copyright (C) 2001-2002 by NaN Holding BV.
19  * All rights reserved.
20  *
21  * The Original Code is: all of this file.
22  *
23  * Contributor(s): none yet.
24  *
25  * ***** END GPL LICENSE BLOCK *****
26  */
27
28 /** \file blender/blenkernel/intern/library.c
29  *  \ingroup bke
30  *
31  * Contains management of ID's and libraries
32  * allocate and free of all library data
33  */
34
35 #include <stdio.h>
36 #include <ctype.h>
37 #include <string.h>
38 #include <stdlib.h>
39 #include <stddef.h>
40 #include <assert.h>
41
42 #include "MEM_guardedalloc.h"
43
44 /* all types are needed here, in order to do memory operations */
45 #include "DNA_anim_types.h"
46 #include "DNA_armature_types.h"
47 #include "DNA_brush_types.h"
48 #include "DNA_camera_types.h"
49 #include "DNA_group_types.h"
50 #include "DNA_gpencil_types.h"
51 #include "DNA_ipo_types.h"
52 #include "DNA_key_types.h"
53 #include "DNA_lamp_types.h"
54 #include "DNA_lattice_types.h"
55 #include "DNA_material_types.h"
56 #include "DNA_mesh_types.h"
57 #include "DNA_meta_types.h"
58 #include "DNA_movieclip_types.h"
59 #include "DNA_mask_types.h"
60 #include "DNA_nla_types.h"
61 #include "DNA_node_types.h"
62 #include "DNA_scene_types.h"
63 #include "DNA_screen_types.h"
64 #include "DNA_speaker_types.h"
65 #include "DNA_sound_types.h"
66 #include "DNA_text_types.h"
67 #include "DNA_vfont_types.h"
68 #include "DNA_windowmanager_types.h"
69 #include "DNA_world_types.h"
70
71 #include "BLI_blenlib.h"
72 #include "BLI_dynstr.h"
73 #include "BLI_utildefines.h"
74
75 #include "BLF_translation.h"
76
77 #include "BKE_action.h"
78 #include "BKE_animsys.h"
79 #include "BKE_armature.h"
80 #include "BKE_bpath.h"
81 #include "BKE_brush.h"
82 #include "BKE_camera.h"
83 #include "BKE_context.h"
84 #include "BKE_curve.h"
85 #include "BKE_depsgraph.h"
86 #include "BKE_fcurve.h"
87 #include "BKE_font.h"
88 #include "BKE_global.h"
89 #include "BKE_group.h"
90 #include "BKE_gpencil.h"
91 #include "BKE_idprop.h"
92 #include "BKE_icons.h"
93 #include "BKE_image.h"
94 #include "BKE_ipo.h"
95 #include "BKE_key.h"
96 #include "BKE_lamp.h"
97 #include "BKE_lattice.h"
98 #include "BKE_library.h"
99 #include "BKE_linestyle.h"
100 #include "BKE_mesh.h"
101 #include "BKE_material.h"
102 #include "BKE_main.h"
103 #include "BKE_mball.h"
104 #include "BKE_movieclip.h"
105 #include "BKE_mask.h"
106 #include "BKE_node.h"
107 #include "BKE_object.h"
108 #include "BKE_particle.h"
109 #include "BKE_packedFile.h"
110 #include "BKE_speaker.h"
111 #include "BKE_sound.h"
112 #include "BKE_screen.h"
113 #include "BKE_scene.h"
114 #include "BKE_text.h"
115 #include "BKE_texture.h"
116 #include "BKE_world.h"
117
118 #include "RNA_access.h"
119
120 #ifdef WITH_PYTHON
121 #include "BPY_extern.h"
122 #endif
123
124 /* GS reads the memory pointed at in a specific ordering. 
125  * only use this definition, makes little and big endian systems
126  * work fine, in conjunction with MAKE_ID */
127
128 /* ************* general ************************ */
129
130
131 /* this has to be called from each make_local_* func, we could call
132  * from id_make_local() but then the make local functions would not be self
133  * contained.
134  * also note that the id _must_ have a library - campbell */
135 void BKE_id_lib_local_paths(Main *bmain, Library *lib, ID *id)
136 {
137         char *bpath_user_data[2] = {bmain->name, lib->filepath};
138
139         BKE_bpath_traverse_id(bmain, id,
140                               BKE_bpath_relocate_visitor,
141                               BKE_BPATH_TRAVERSE_SKIP_MULTIFILE,
142                               bpath_user_data);
143 }
144
145 void id_lib_extern(ID *id)
146 {
147         if (id) {
148                 if (id->flag & LIB_INDIRECT) {
149                         id->flag -= LIB_INDIRECT;
150                         id->flag |= LIB_EXTERN;
151                 }
152         }
153 }
154
155 /* ensure we have a real user */
156 void id_us_ensure_real(ID *id)
157 {
158         if (id) {
159                 if (ID_REAL_USERS(id) <= 0) {
160                         id->us = MAX2(id->us, 0) + 1;
161                 }
162         }
163 }
164
165 void id_us_plus(ID *id)
166 {
167         if (id) {
168                 id->us++;
169                 if (id->flag & LIB_INDIRECT) {
170                         id->flag -= LIB_INDIRECT;
171                         id->flag |= LIB_EXTERN;
172                 }
173         }
174 }
175
176 /* decrements the user count for *id. */
177 void id_us_min(ID *id)
178 {
179         if (id) {
180                 if (id->us < 2 && (id->flag & LIB_FAKEUSER)) {
181                         id->us = 1;
182                 }
183                 else if (id->us <= 0) {
184                         printf("ID user decrement error: %s\n", id->name);
185                 }
186                 else {
187                         id->us--;
188                 }
189         }
190 }
191
192 /* calls the appropriate make_local method for the block, unless test. Returns true
193  * if the block can be made local. */
194 bool id_make_local(ID *id, bool test)
195 {
196         if (id->flag & LIB_INDIRECT)
197                 return false;
198
199         switch (GS(id->name)) {
200                 case ID_SCE:
201                         return false; /* not implemented */
202                 case ID_LI:
203                         return false; /* can't be linked */
204                 case ID_OB:
205                         if (!test) BKE_object_make_local((Object *)id);
206                         return true;
207                 case ID_ME:
208                         if (!test) {
209                                 BKE_mesh_make_local((Mesh *)id);
210                                 BKE_key_make_local(((Mesh *)id)->key);
211                         }
212                         return true;
213                 case ID_CU:
214                         if (!test) {
215                                 BKE_curve_make_local((Curve *)id);
216                                 BKE_key_make_local(((Curve *)id)->key);
217                         }
218                         return true;
219                 case ID_MB:
220                         if (!test) BKE_mball_make_local((MetaBall *)id);
221                         return true;
222                 case ID_MA:
223                         if (!test) BKE_material_make_local((Material *)id);
224                         return true;
225                 case ID_TE:
226                         if (!test) BKE_texture_make_local((Tex *)id);
227                         return true;
228                 case ID_IM:
229                         if (!test) BKE_image_make_local((Image *)id);
230                         return true;
231                 case ID_LT:
232                         if (!test) {
233                                 BKE_lattice_make_local((Lattice *)id);
234                                 BKE_key_make_local(((Lattice *)id)->key);
235                         }
236                         return true;
237                 case ID_LA:
238                         if (!test) BKE_lamp_make_local((Lamp *)id);
239                         return true;
240                 case ID_CA:
241                         if (!test) BKE_camera_make_local((Camera *)id);
242                         return true;
243                 case ID_SPK:
244                         if (!test) BKE_speaker_make_local((Speaker *)id);
245                         return true;
246                 case ID_IP:
247                         return false; /* deprecated */
248                 case ID_KE:
249                         if (!test) BKE_key_make_local((Key *)id);
250                         return true;
251                 case ID_WO:
252                         if (!test) BKE_world_make_local((World *)id);
253                         return true;
254                 case ID_SCR:
255                         return false; /* can't be linked */
256                 case ID_VF:
257                         return false; /* not implemented */
258                 case ID_TXT:
259                         return false; /* not implemented */
260                 case ID_SCRIPT:
261                         return false; /* deprecated */
262                 case ID_SO:
263                         return false; /* not implemented */
264                 case ID_GR:
265                         return false; /* not implemented */
266                 case ID_AR:
267                         if (!test) BKE_armature_make_local((bArmature *)id);
268                         return true;
269                 case ID_AC:
270                         if (!test) BKE_action_make_local((bAction *)id);
271                         return true;
272                 case ID_NT:
273                         if (!test) ntreeMakeLocal((bNodeTree *)id);
274                         return true;
275                 case ID_BR:
276                         if (!test) BKE_brush_make_local((Brush *)id);
277                         return true;
278                 case ID_PA:
279                         if (!test) BKE_particlesettings_make_local((ParticleSettings *)id);
280                         return true;
281                 case ID_WM:
282                         return false; /* can't be linked */
283                 case ID_GD:
284                         return false; /* not implemented */
285                 case ID_LS:
286                         return 0; /* not implemented */
287         }
288
289         return false;
290 }
291
292 /**
293  * Invokes the appropriate copy method for the block and returns the result in
294  * newid, unless test. Returns true iff the block can be copied.
295  */
296 bool id_copy(ID *id, ID **newid, bool test)
297 {
298         if (!test) *newid = NULL;
299
300         /* conventions:
301          * - make shallow copy, only this ID block
302          * - id.us of the new ID is set to 1 */
303         switch (GS(id->name)) {
304                 case ID_SCE:
305                         return false;  /* can't be copied from here */
306                 case ID_LI:
307                         return false;  /* can't be copied from here */
308                 case ID_OB:
309                         if (!test) *newid = (ID *)BKE_object_copy((Object *)id);
310                         return true;
311                 case ID_ME:
312                         if (!test) *newid = (ID *)BKE_mesh_copy((Mesh *)id);
313                         return true;
314                 case ID_CU:
315                         if (!test) *newid = (ID *)BKE_curve_copy((Curve *)id);
316                         return true;
317                 case ID_MB:
318                         if (!test) *newid = (ID *)BKE_mball_copy((MetaBall *)id);
319                         return true;
320                 case ID_MA:
321                         if (!test) *newid = (ID *)BKE_material_copy((Material *)id);
322                         return true;
323                 case ID_TE:
324                         if (!test) *newid = (ID *)BKE_texture_copy((Tex *)id);
325                         return true;
326                 case ID_IM:
327                         if (!test) *newid = (ID *)BKE_image_copy(G.main, (Image *)id);
328                         return true;
329                 case ID_LT:
330                         if (!test) *newid = (ID *)BKE_lattice_copy((Lattice *)id);
331                         return true;
332                 case ID_LA:
333                         if (!test) *newid = (ID *)BKE_lamp_copy((Lamp *)id);
334                         return true;
335                 case ID_SPK:
336                         if (!test) *newid = (ID *)BKE_speaker_copy((Speaker *)id);
337                         return true;
338                 case ID_CA:
339                         if (!test) *newid = (ID *)BKE_camera_copy((Camera *)id);
340                         return true;
341                 case ID_IP:
342                         return false;  /* deprecated */
343                 case ID_KE:
344                         if (!test) *newid = (ID *)BKE_key_copy((Key *)id);
345                         return true;
346                 case ID_WO:
347                         if (!test) *newid = (ID *)BKE_world_copy((World *)id);
348                         return true;
349                 case ID_SCR:
350                         return false;  /* can't be copied from here */
351                 case ID_VF:
352                         return false;  /* not implemented */
353                 case ID_TXT:
354                         if (!test) *newid = (ID *)BKE_text_copy((Text *)id);
355                         return true;
356                 case ID_SCRIPT:
357                         return false;  /* deprecated */
358                 case ID_SO:
359                         return false;  /* not implemented */
360                 case ID_GR:
361                         if (!test) *newid = (ID *)BKE_group_copy((Group *)id);
362                         return true;
363                 case ID_AR:
364                         if (!test) *newid = (ID *)BKE_armature_copy((bArmature *)id);
365                         return true;
366                 case ID_AC:
367                         if (!test) *newid = (ID *)BKE_action_copy((bAction *)id);
368                         return true;
369                 case ID_NT:
370                         if (!test) *newid = (ID *)ntreeCopyTree((bNodeTree *)id);
371                         return true;
372                 case ID_BR:
373                         if (!test) *newid = (ID *)BKE_brush_copy((Brush *)id);
374                         return true;
375                 case ID_PA:
376                         if (!test) *newid = (ID *)BKE_particlesettings_copy((ParticleSettings *)id);
377                         return true;
378                 case ID_WM:
379                         return false;  /* can't be copied from here */
380                 case ID_GD:
381                         return false;  /* not implemented */
382                 case ID_MSK:
383                         if (!test) *newid = (ID *)BKE_mask_copy((Mask *)id);
384                         return true;
385                 case ID_LS:
386                         if (!test) *newid = (ID *)BKE_copy_linestyle((FreestyleLineStyle *)id);
387                         return 1;
388         }
389         
390         return false;
391 }
392
393 bool id_unlink(ID *id, int test)
394 {
395         Main *mainlib = G.main;
396         short type = GS(id->name);
397
398         switch (type) {
399                 case ID_TXT:
400                         if (test) return true;
401                         BKE_text_unlink(mainlib, (Text *)id);
402                         break;
403                 case ID_GR:
404                         if (test) return true;
405                         BKE_group_unlink((Group *)id);
406                         break;
407                 case ID_OB:
408                         if (test) return true;
409                         BKE_object_unlink((Object *)id);
410                         break;
411         }
412
413         if (id->us == 0) {
414                 if (test) return true;
415
416                 BKE_libblock_free(mainlib, id);
417
418                 return true;
419         }
420
421         return false;
422 }
423
424 bool id_single_user(bContext *C, ID *id, PointerRNA *ptr, PropertyRNA *prop)
425 {
426         ID *newid = NULL;
427         PointerRNA idptr;
428         
429         if (id) {
430                 /* if property isn't editable, we're going to have an extra block hanging around until we save */
431                 if (RNA_property_editable(ptr, prop)) {
432                         if (id_copy(id, &newid, false) && newid) {
433                                 /* copy animation actions too */
434                                 BKE_copy_animdata_id_action(id);
435                                 /* us is 1 by convention, but RNA_property_pointer_set
436                                  * will also increment it, so set it to zero */
437                                 newid->us = 0;
438                                 
439                                 /* assign copy */
440                                 RNA_id_pointer_create(newid, &idptr);
441                                 RNA_property_pointer_set(ptr, prop, idptr);
442                                 RNA_property_update(C, ptr, prop);
443                                 
444                                 return true;
445                         }
446                 }
447         }
448         
449         return false;
450 }
451
452 ListBase *which_libbase(Main *mainlib, short type)
453 {
454         switch (type) {
455                 case ID_SCE:
456                         return &(mainlib->scene);
457                 case ID_LI:
458                         return &(mainlib->library);
459                 case ID_OB:
460                         return &(mainlib->object);
461                 case ID_ME:
462                         return &(mainlib->mesh);
463                 case ID_CU:
464                         return &(mainlib->curve);
465                 case ID_MB:
466                         return &(mainlib->mball);
467                 case ID_MA:
468                         return &(mainlib->mat);
469                 case ID_TE:
470                         return &(mainlib->tex);
471                 case ID_IM:
472                         return &(mainlib->image);
473                 case ID_LT:
474                         return &(mainlib->latt);
475                 case ID_LA:
476                         return &(mainlib->lamp);
477                 case ID_CA:
478                         return &(mainlib->camera);
479                 case ID_IP:
480                         return &(mainlib->ipo);
481                 case ID_KE:
482                         return &(mainlib->key);
483                 case ID_WO:
484                         return &(mainlib->world);
485                 case ID_SCR:
486                         return &(mainlib->screen);
487                 case ID_VF:
488                         return &(mainlib->vfont);
489                 case ID_TXT:
490                         return &(mainlib->text);
491                 case ID_SCRIPT:
492                         return &(mainlib->script);
493                 case ID_SPK:
494                         return &(mainlib->speaker);
495                 case ID_SO:
496                         return &(mainlib->sound);
497                 case ID_GR:
498                         return &(mainlib->group);
499                 case ID_AR:
500                         return &(mainlib->armature);
501                 case ID_AC:
502                         return &(mainlib->action);
503                 case ID_NT:
504                         return &(mainlib->nodetree);
505                 case ID_BR:
506                         return &(mainlib->brush);
507                 case ID_PA:
508                         return &(mainlib->particle);
509                 case ID_WM:
510                         return &(mainlib->wm);
511                 case ID_GD:
512                         return &(mainlib->gpencil);
513                 case ID_MC:
514                         return &(mainlib->movieclip);
515                 case ID_MSK:
516                         return &(mainlib->mask);
517                 case ID_LS:
518                         return &(mainlib->linestyle);
519         }
520         return NULL;
521 }
522
523 /* Flag all ids in listbase */
524 void BKE_main_id_flag_listbase(ListBase *lb, const short flag, const bool value)
525 {
526         ID *id;
527         if (value) {
528                 for (id = lb->first; id; id = id->next) id->flag |= flag;
529         }
530         else {
531                 const short nflag = ~flag;
532                 for (id = lb->first; id; id = id->next) id->flag &= nflag;
533         }
534 }
535
536 /* Flag all ids in listbase */
537 void BKE_main_id_flag_all(Main *bmain, const short flag, const bool value)
538 {
539         ListBase *lbarray[MAX_LIBARRAY];
540         int a;
541         a = set_listbasepointers(bmain, lbarray);
542         while (a--) {
543                 BKE_main_id_flag_listbase(lbarray[a], flag, value);
544         }
545 }
546
547 void BKE_main_lib_objects_recalc_all(Main *bmain)
548 {
549         Object *ob;
550
551         /* flag for full recalc */
552         for (ob = bmain->object.first; ob; ob = ob->id.next)
553                 if (ob->id.lib)
554                         ob->recalc |= OB_RECALC_OB | OB_RECALC_DATA | OB_RECALC_TIME;
555
556         DAG_id_type_tag(bmain, ID_OB);
557 }
558
559 /**
560  * puts into array *lb pointers to all the ListBase structs in main,
561  * and returns the number of them as the function result. This is useful for
562  * generic traversal of all the blocks in a Main (by traversing all the
563  * lists in turn), without worrying about block types.
564  *
565  * \note MAX_LIBARRAY define should match this code */
566 int set_listbasepointers(Main *main, ListBase **lb)
567 {
568         int a = 0;
569
570         /* BACKWARDS! also watch order of free-ing! (mesh<->mat), first items freed last.
571          * This is important because freeing data decreases usercounts of other datablocks,
572          * if this data is its self freed it can crash. */
573         lb[a++] = &(main->ipo);
574         lb[a++] = &(main->action); // xxx moved here to avoid problems when freeing with animato (aligorith)
575         lb[a++] = &(main->key);
576         lb[a++] = &(main->gpencil); /* referenced by nodes, objects, view, scene etc, before to free after. */
577         lb[a++] = &(main->nodetree);
578         lb[a++] = &(main->image);
579         lb[a++] = &(main->tex);
580         lb[a++] = &(main->mat);
581         lb[a++] = &(main->vfont);
582         
583         /* Important!: When adding a new object type,
584          * the specific data should be inserted here 
585          */
586
587         lb[a++] = &(main->armature);
588
589         lb[a++] = &(main->mesh);
590         lb[a++] = &(main->curve);
591         lb[a++] = &(main->mball);
592
593         lb[a++] = &(main->latt);
594         lb[a++] = &(main->lamp);
595         lb[a++] = &(main->camera);
596
597         lb[a++] = &(main->text);
598         lb[a++] = &(main->sound);
599         lb[a++] = &(main->group);
600         lb[a++] = &(main->brush);
601         lb[a++] = &(main->script);
602         lb[a++] = &(main->particle);
603         lb[a++] = &(main->speaker);
604
605         lb[a++] = &(main->world);
606         lb[a++] = &(main->screen);
607         lb[a++] = &(main->object);
608         lb[a++] = &(main->linestyle); /* referenced by scenes */
609         lb[a++] = &(main->scene);
610         lb[a++] = &(main->library);
611         lb[a++] = &(main->wm);
612         lb[a++] = &(main->movieclip);
613         lb[a++] = &(main->mask);
614         
615         lb[a] = NULL;
616
617         return a;
618 }
619
620 /* *********** ALLOC AND FREE *****************
621  *
622  * BKE_libblock_free(ListBase *lb, ID *id )
623  * provide a list-basis and datablock, but only ID is read
624  *
625  * void *BKE_libblock_alloc(ListBase *lb, type, name)
626  * inserts in list and returns a new ID
627  *
628  * **************************** */
629
630 /**
631  * Allocates and returns memory of the right size for the specified block type,
632  * initialized to zero.
633  */
634 static ID *alloc_libblock_notest(short type)
635 {
636         ID *id = NULL;
637         
638         switch (type) {
639                 case ID_SCE:
640                         id = MEM_callocN(sizeof(Scene), "scene");
641                         break;
642                 case ID_LI:
643                         id = MEM_callocN(sizeof(Library), "library");
644                         break;
645                 case ID_OB:
646                         id = MEM_callocN(sizeof(Object), "object");
647                         break;
648                 case ID_ME:
649                         id = MEM_callocN(sizeof(Mesh), "mesh");
650                         break;
651                 case ID_CU:
652                         id = MEM_callocN(sizeof(Curve), "curve");
653                         break;
654                 case ID_MB:
655                         id = MEM_callocN(sizeof(MetaBall), "mball");
656                         break;
657                 case ID_MA:
658                         id = MEM_callocN(sizeof(Material), "mat");
659                         break;
660                 case ID_TE:
661                         id = MEM_callocN(sizeof(Tex), "tex");
662                         break;
663                 case ID_IM:
664                         id = MEM_callocN(sizeof(Image), "image");
665                         break;
666                 case ID_LT:
667                         id = MEM_callocN(sizeof(Lattice), "latt");
668                         break;
669                 case ID_LA:
670                         id = MEM_callocN(sizeof(Lamp), "lamp");
671                         break;
672                 case ID_CA:
673                         id = MEM_callocN(sizeof(Camera), "camera");
674                         break;
675                 case ID_IP:
676                         id = MEM_callocN(sizeof(Ipo), "ipo");
677                         break;
678                 case ID_KE:
679                         id = MEM_callocN(sizeof(Key), "key");
680                         break;
681                 case ID_WO:
682                         id = MEM_callocN(sizeof(World), "world");
683                         break;
684                 case ID_SCR:
685                         id = MEM_callocN(sizeof(bScreen), "screen");
686                         break;
687                 case ID_VF:
688                         id = MEM_callocN(sizeof(VFont), "vfont");
689                         break;
690                 case ID_TXT:
691                         id = MEM_callocN(sizeof(Text), "text");
692                         break;
693                 case ID_SCRIPT:
694                         //XXX id = MEM_callocN(sizeof(Script), "script");
695                         break;
696                 case ID_SPK:
697                         id = MEM_callocN(sizeof(Speaker), "speaker");
698                         break;
699                 case ID_SO:
700                         id = MEM_callocN(sizeof(bSound), "sound");
701                         break;
702                 case ID_GR:
703                         id = MEM_callocN(sizeof(Group), "group");
704                         break;
705                 case ID_AR:
706                         id = MEM_callocN(sizeof(bArmature), "armature");
707                         break;
708                 case ID_AC:
709                         id = MEM_callocN(sizeof(bAction), "action");
710                         break;
711                 case ID_NT:
712                         id = MEM_callocN(sizeof(bNodeTree), "nodetree");
713                         break;
714                 case ID_BR:
715                         id = MEM_callocN(sizeof(Brush), "brush");
716                         break;
717                 case ID_PA:
718                         id = MEM_callocN(sizeof(ParticleSettings), "ParticleSettings");
719                         break;
720                 case ID_WM:
721                         id = MEM_callocN(sizeof(wmWindowManager), "Window manager");
722                         break;
723                 case ID_GD:
724                         id = MEM_callocN(sizeof(bGPdata), "Grease Pencil");
725                         break;
726                 case ID_MC:
727                         id = MEM_callocN(sizeof(MovieClip), "Movie Clip");
728                         break;
729                 case ID_MSK:
730                         id = MEM_callocN(sizeof(Mask), "Mask");
731                         break;
732                 case ID_LS:
733                         id = MEM_callocN(sizeof(FreestyleLineStyle), "Freestyle Line Style");
734                         break;
735         }
736         return id;
737 }
738
739 /**
740  * Allocates and returns a block of the specified type, with the specified name
741  * (adjusted as necessary to ensure uniqueness), and appended to the specified list.
742  * The user count is set to 1, all other content (apart from name and links) being
743  * initialized to zero.
744  */
745 void *BKE_libblock_alloc(Main *bmain, short type, const char *name)
746 {
747         ID *id = NULL;
748         ListBase *lb = which_libbase(bmain, type);
749         
750         id = alloc_libblock_notest(type);
751         if (id) {
752                 BLI_addtail(lb, id);
753                 id->us = 1;
754                 id->icon_id = 0;
755                 *( (short *)id->name) = type;
756                 new_id(lb, id, name);
757                 /* alphabetic insertion: is in new_id */
758         }
759         DAG_id_type_tag(bmain, type);
760         return id;
761 }
762
763 /* by spec, animdata is first item after ID */
764 /* and, trust that BKE_animdata_from_id() will only find AnimData for valid ID-types */
765 static void id_copy_animdata(ID *id, const bool do_action)
766 {
767         AnimData *adt = BKE_animdata_from_id(id);
768         
769         if (adt) {
770                 IdAdtTemplate *iat = (IdAdtTemplate *)id;
771                 iat->adt = BKE_copy_animdata(iat->adt, do_action); /* could be set to false, need to investigate */
772         }
773 }
774
775 /* material nodes use this since they are not treated as libdata */
776 void BKE_libblock_copy_data(ID *id, const ID *id_from, const bool do_action)
777 {
778         if (id_from->properties)
779                 id->properties = IDP_CopyProperty(id_from->properties);
780
781         /* the duplicate should get a copy of the animdata */
782         id_copy_animdata(id, do_action);
783 }
784
785 /* used everywhere in blenkernel */
786 void *BKE_libblock_copy_ex(Main *bmain, ID *id)
787 {
788         ID *idn;
789         ListBase *lb;
790         size_t idn_len;
791
792         lb = which_libbase(bmain, GS(id->name));
793         idn = BKE_libblock_alloc(bmain, GS(id->name), id->name + 2);
794
795         assert(idn != NULL);
796
797         idn_len = MEM_allocN_len(idn);
798         if ((int)idn_len - (int)sizeof(ID) > 0) { /* signed to allow neg result */
799                 const char *cp = (const char *)id;
800                 char *cpn = (char *)idn;
801
802                 memcpy(cpn + sizeof(ID), cp + sizeof(ID), idn_len - sizeof(ID));
803         }
804         
805         id->newid = idn;
806         idn->flag |= LIB_NEW;
807
808         BKE_libblock_copy_data(idn, id, false);
809         
810         return idn;
811 }
812
813 void *BKE_libblock_copy(ID *id)
814 {
815         return BKE_libblock_copy_ex(G.main, id);
816 }
817
818 static void BKE_library_free(Library *lib)
819 {
820         if (lib->packedfile)
821                 freePackedFile(lib->packedfile);
822 }
823
824 static void (*free_windowmanager_cb)(bContext *, wmWindowManager *) = NULL;
825
826 void set_free_windowmanager_cb(void (*func)(bContext *C, wmWindowManager *) )
827 {
828         free_windowmanager_cb = func;
829 }
830
831 static void (*free_notifier_reference_cb)(const void *) = NULL;
832
833 void set_free_notifier_reference_cb(void (*func)(const void *) )
834 {
835         free_notifier_reference_cb = func;
836 }
837
838
839 static void animdata_dtar_clear_cb(ID *UNUSED(id), AnimData *adt, void *userdata)
840 {
841         ChannelDriver *driver;
842         FCurve *fcu;
843
844         /* find the driver this belongs to and update it */
845         for (fcu = adt->drivers.first; fcu; fcu = fcu->next) {
846                 driver = fcu->driver;
847                 
848                 if (driver) {
849                         DriverVar *dvar;
850                         for (dvar = driver->variables.first; dvar; dvar = dvar->next) {
851                                 DRIVER_TARGETS_USED_LOOPER(dvar) 
852                                 {
853                                         if (dtar->id == userdata)
854                                                 dtar->id = NULL;
855                                 }
856                                 DRIVER_TARGETS_LOOPER_END
857                         }
858                 }
859         }
860 }
861
862 void BKE_libblock_free_data(ID *id)
863 {
864         Main *bmain = G.main;  /* should eventually be an arg */
865         
866         if (id->properties) {
867                 IDP_FreeProperty(id->properties);
868                 MEM_freeN(id->properties);
869         }
870         
871         /* this ID may be a driver target! */
872         BKE_animdata_main_cb(bmain, animdata_dtar_clear_cb, (void *)id);
873 }
874
875 /* used in headerbuttons.c image.c mesh.c screen.c sound.c and library.c */
876 void BKE_libblock_free_ex(Main *bmain, void *idv, bool do_id_user)
877 {
878         ID *id = idv;
879         short type = GS(id->name);
880         ListBase *lb = which_libbase(bmain, type);
881
882         DAG_id_type_tag(bmain, type);
883
884 #ifdef WITH_PYTHON
885         BPY_id_release(id);
886 #endif
887
888         switch (type) {    /* GetShort from util.h */
889                 case ID_SCE:
890                         BKE_scene_free((Scene *)id);
891                         break;
892                 case ID_LI:
893                         BKE_library_free((Library *)id);
894                         break;
895                 case ID_OB:
896                         BKE_object_free_ex((Object *)id, do_id_user);
897                         break;
898                 case ID_ME:
899                         BKE_mesh_free((Mesh *)id, 1);
900                         break;
901                 case ID_CU:
902                         BKE_curve_free((Curve *)id);
903                         break;
904                 case ID_MB:
905                         BKE_mball_free((MetaBall *)id);
906                         break;
907                 case ID_MA:
908                         BKE_material_free((Material *)id);
909                         break;
910                 case ID_TE:
911                         BKE_texture_free((Tex *)id);
912                         break;
913                 case ID_IM:
914                         BKE_image_free((Image *)id);
915                         break;
916                 case ID_LT:
917                         BKE_lattice_free((Lattice *)id);
918                         break;
919                 case ID_LA:
920                         BKE_lamp_free((Lamp *)id);
921                         break;
922                 case ID_CA:
923                         BKE_camera_free((Camera *) id);
924                         break;
925                 case ID_IP:
926                         BKE_ipo_free((Ipo *)id);
927                         break;
928                 case ID_KE:
929                         BKE_key_free((Key *)id);
930                         break;
931                 case ID_WO:
932                         BKE_world_free((World *)id);
933                         break;
934                 case ID_SCR:
935                         BKE_screen_free((bScreen *)id);
936                         break;
937                 case ID_VF:
938                         BKE_vfont_free((VFont *)id);
939                         break;
940                 case ID_TXT:
941                         BKE_text_free((Text *)id);
942                         break;
943                 case ID_SCRIPT:
944                         /* deprecated */
945                         break;
946                 case ID_SPK:
947                         BKE_speaker_free((Speaker *)id);
948                         break;
949                 case ID_SO:
950                         BKE_sound_free((bSound *)id);
951                         break;
952                 case ID_GR:
953                         BKE_group_free((Group *)id);
954                         break;
955                 case ID_AR:
956                         BKE_armature_free((bArmature *)id);
957                         break;
958                 case ID_AC:
959                         BKE_action_free((bAction *)id);
960                         break;
961                 case ID_NT:
962                         ntreeFreeTree_ex((bNodeTree *)id, do_id_user);
963                         break;
964                 case ID_BR:
965                         BKE_brush_free((Brush *)id);
966                         break;
967                 case ID_PA:
968                         BKE_particlesettings_free((ParticleSettings *)id);
969                         break;
970                 case ID_WM:
971                         if (free_windowmanager_cb)
972                                 free_windowmanager_cb(NULL, (wmWindowManager *)id);
973                         break;
974                 case ID_GD:
975                         BKE_gpencil_free((bGPdata *)id);
976                         break;
977                 case ID_MC:
978                         BKE_movieclip_free((MovieClip *)id);
979                         break;
980                 case ID_MSK:
981                         BKE_mask_free(bmain, (Mask *)id);
982                         break;
983                 case ID_LS:
984                         BKE_free_linestyle((FreestyleLineStyle *)id);
985                         break;
986         }
987
988         /* avoid notifying on removed data */
989         if (free_notifier_reference_cb)
990                 free_notifier_reference_cb(id);
991
992         BLI_remlink(lb, id);
993
994         BKE_libblock_free_data(id);
995
996         MEM_freeN(id);
997 }
998
999 void BKE_libblock_free(Main *bmain, void *idv)
1000 {
1001         BKE_libblock_free_ex(bmain, idv, true);
1002 }
1003
1004 void BKE_libblock_free_us(Main *bmain, void *idv)      /* test users */
1005 {
1006         ID *id = idv;
1007         
1008         id->us--;
1009
1010         if (id->us < 0) {
1011                 if (id->lib) printf("ERROR block %s %s users %d\n", id->lib->name, id->name, id->us);
1012                 else printf("ERROR block %s users %d\n", id->name, id->us);
1013         }
1014         if (id->us == 0) {
1015                 if (GS(id->name) == ID_OB) BKE_object_unlink((Object *)id);
1016                 
1017                 BKE_libblock_free(bmain, id);
1018         }
1019 }
1020
1021 Main *BKE_main_new(void)
1022 {
1023         Main *bmain = MEM_callocN(sizeof(Main), "new main");
1024         bmain->eval_ctx = MEM_callocN(sizeof(EvaluationContext), "EvaluationContext");
1025         return bmain;
1026 }
1027
1028 void BKE_main_free(Main *mainvar)
1029 {
1030         /* also call when reading a file, erase all, etc */
1031         ListBase *lbarray[MAX_LIBARRAY];
1032         int a;
1033
1034         a = set_listbasepointers(mainvar, lbarray);
1035         while (a--) {
1036                 ListBase *lb = lbarray[a];
1037                 ID *id;
1038                 
1039                 while ( (id = lb->first) ) {
1040 #if 1
1041                         BKE_libblock_free_ex(mainvar, id, false);
1042 #else
1043                         /* errors freeing ID's can be hard to track down,
1044                          * enable this so valgrind will give the line number in its error log */
1045                         switch (a) {
1046                                 case   0: BKE_libblock_free_ex(mainvar, id, false); break;
1047                                 case   1: BKE_libblock_free_ex(mainvar, id, false); break;
1048                                 case   2: BKE_libblock_free_ex(mainvar, id, false); break;
1049                                 case   3: BKE_libblock_free_ex(mainvar, id, false); break;
1050                                 case   4: BKE_libblock_free_ex(mainvar, id, false); break;
1051                                 case   5: BKE_libblock_free_ex(mainvar, id, false); break;
1052                                 case   6: BKE_libblock_free_ex(mainvar, id, false); break;
1053                                 case   7: BKE_libblock_free_ex(mainvar, id, false); break;
1054                                 case   8: BKE_libblock_free_ex(mainvar, id, false); break;
1055                                 case   9: BKE_libblock_free_ex(mainvar, id, false); break;
1056                                 case  10: BKE_libblock_free_ex(mainvar, id, false); break;
1057                                 case  11: BKE_libblock_free_ex(mainvar, id, false); break;
1058                                 case  12: BKE_libblock_free_ex(mainvar, id, false); break;
1059                                 case  13: BKE_libblock_free_ex(mainvar, id, false); break;
1060                                 case  14: BKE_libblock_free_ex(mainvar, id, false); break;
1061                                 case  15: BKE_libblock_free_ex(mainvar, id, false); break;
1062                                 case  16: BKE_libblock_free_ex(mainvar, id, false); break;
1063                                 case  17: BKE_libblock_free_ex(mainvar, id, false); break;
1064                                 case  18: BKE_libblock_free_ex(mainvar, id, false); break;
1065                                 case  19: BKE_libblock_free_ex(mainvar, id, false); break;
1066                                 case  20: BKE_libblock_free_ex(mainvar, id, false); break;
1067                                 case  21: BKE_libblock_free_ex(mainvar, id, false); break;
1068                                 case  22: BKE_libblock_free_ex(mainvar, id, false); break;
1069                                 case  23: BKE_libblock_free_ex(mainvar, id, false); break;
1070                                 case  24: BKE_libblock_free_ex(mainvar, id, false); break;
1071                                 case  25: BKE_libblock_free_ex(mainvar, id, false); break;
1072                                 case  26: BKE_libblock_free_ex(mainvar, id, false); break;
1073                                 case  27: BKE_libblock_free_ex(mainvar, id, false); break;
1074                                 case  28: BKE_libblock_free_ex(mainvar, id, false); break;
1075                                 case  29: BKE_libblock_free_ex(mainvar, id, false); break;
1076                                 case  30: BKE_libblock_free_ex(mainvar, id, false); break;
1077                                 case  31: BKE_libblock_free_ex(mainvar, id, false); break;
1078                                 case  32: BKE_libblock_free_ex(mainvar, id, false); break;
1079                                 default:
1080                                         BLI_assert(0);
1081                                         break;
1082                         }
1083 #endif
1084                 }
1085         }
1086
1087         MEM_freeN(mainvar->eval_ctx);
1088         MEM_freeN(mainvar);
1089 }
1090
1091 /* ***************** ID ************************ */
1092
1093
1094 ID *BKE_libblock_find_name(const short type, const char *name)      /* type: "OB" or "MA" etc */
1095 {
1096         ListBase *lb = which_libbase(G.main, type);
1097         BLI_assert(lb != NULL);
1098         return BLI_findstring(lb, name, offsetof(ID, name) + 2);
1099 }
1100
1101 #if 0 /* UNUSED */
1102 #define MAX_IDPUP  60  /* was 24 */
1103
1104 static void get_flags_for_id(ID *id, char *buf) 
1105 {
1106         int isfake = id->flag & LIB_FAKEUSER;
1107         int isnode = 0;
1108         /* Writeout the flags for the entry, note there
1109          * is a small hack that writes 5 spaces instead
1110          * of 4 if no flags are displayed... this makes
1111          * things usually line up ok - better would be
1112          * to have that explicit, oh well - zr
1113          */
1114
1115         if (GS(id->name) == ID_MA)
1116                 isnode = ((Material *)id)->use_nodes;
1117         if (GS(id->name) == ID_TE)
1118                 isnode = ((Tex *)id)->use_nodes;
1119         
1120         if (id->us < 0)
1121                 strcpy(buf, "-1W ");
1122         else if (!id->lib && !isfake && id->us && !isnode)
1123                 strcpy(buf, "     ");
1124         else if (isnode)
1125                 sprintf(buf, "%c%cN%c ", id->lib ? 'L' : ' ', isfake ? 'F' : ' ', (id->us == 0) ? 'O' : ' ');
1126         else
1127                 sprintf(buf, "%c%c%c ", id->lib ? 'L' : ' ', isfake ? 'F' : ' ', (id->us == 0) ? 'O' : ' ');
1128 }
1129
1130 #define IDPUP_NO_VIEWER 1
1131
1132 static void IDnames_to_dyn_pupstring(DynStr *pupds, ListBase *lb, ID *link, short *nr, int hideflag)
1133 {
1134         int i, nids = BLI_countlist(lb);
1135                 
1136         if (nr) *nr = -1;
1137         
1138         if (nr && nids > MAX_IDPUP) {
1139                 BLI_dynstr_append(pupds, "DataBrowse %x-2");
1140                 *nr = -2;
1141         }
1142         else {
1143                 ID *id;
1144                 
1145                 for (i = 0, id = lb->first; id; id = id->next, i++) {
1146                         char numstr[32];
1147                         
1148                         if (nr && id == link) *nr = i + 1;
1149
1150                         if (U.uiflag & USER_HIDE_DOT && id->name[2] == '.')
1151                                 continue;
1152                         if (hideflag & IDPUP_NO_VIEWER)
1153                                 if (GS(id->name) == ID_IM)
1154                                         if ( ((Image *)id)->source == IMA_SRC_VIEWER)
1155                                                 continue;
1156                         
1157                         get_flags_for_id(id, numstr);
1158                                 
1159                         BLI_dynstr_append(pupds, numstr);
1160                         BLI_dynstr_append(pupds, id->name + 2);
1161                         BLI_snprintf(numstr, sizeof(numstr), "%%x%d", i + 1);
1162                         BLI_dynstr_append(pupds, numstr);
1163                         
1164                         /* icon */
1165                         switch (GS(id->name)) {
1166                                 case ID_MA: /* fall through */
1167                                 case ID_TE: /* fall through */
1168                                 case ID_IM: /* fall through */
1169                                 case ID_WO: /* fall through */
1170                                 case ID_LA: /* fall through */
1171                                         BLI_snprintf(numstr, sizeof(numstr), "%%i%d", BKE_icon_getid(id));
1172                                         BLI_dynstr_append(pupds, numstr);
1173                                         break;
1174                                 default:
1175                                         break;
1176                         }
1177                         
1178                         if (id->next)
1179                                 BLI_dynstr_append(pupds, "|");
1180                 }
1181         }
1182 }
1183
1184 /* used by headerbuttons.c buttons.c editobject.c editseq.c */
1185 /* if (nr == NULL) no MAX_IDPUP, this for non-header browsing */
1186 void IDnames_to_pupstring(const char **str, const char *title, const char *extraops, ListBase *lb, ID *link, short *nr)
1187 {
1188         DynStr *pupds = BLI_dynstr_new();
1189
1190         if (title) {
1191                 BLI_dynstr_append(pupds, title);
1192                 BLI_dynstr_append(pupds, "%t|");
1193         }
1194         
1195         if (extraops) {
1196                 BLI_dynstr_append(pupds, extraops);
1197                 if (BLI_dynstr_get_len(pupds))
1198                         BLI_dynstr_append(pupds, "|");
1199         }
1200
1201         IDnames_to_dyn_pupstring(pupds, lb, link, nr, 0);
1202         
1203         *str = BLI_dynstr_get_cstring(pupds);
1204         BLI_dynstr_free(pupds);
1205 }
1206
1207 /* skips viewer images */
1208 void IMAnames_to_pupstring(const char **str, const char *title, const char *extraops, ListBase *lb, ID *link, short *nr)
1209 {
1210         DynStr *pupds = BLI_dynstr_new();
1211         
1212         if (title) {
1213                 BLI_dynstr_append(pupds, title);
1214                 BLI_dynstr_append(pupds, "%t|");
1215         }
1216         
1217         if (extraops) {
1218                 BLI_dynstr_append(pupds, extraops);
1219                 if (BLI_dynstr_get_len(pupds))
1220                         BLI_dynstr_append(pupds, "|");
1221         }
1222         
1223         IDnames_to_dyn_pupstring(pupds, lb, link, nr, IDPUP_NO_VIEWER);
1224         
1225         *str = BLI_dynstr_get_cstring(pupds);
1226         BLI_dynstr_free(pupds);
1227 }
1228 #endif
1229
1230 void id_sort_by_name(ListBase *lb, ID *id)
1231 {
1232         ID *idtest;
1233         
1234         /* insert alphabetically */
1235         if (lb->first != lb->last) {
1236                 BLI_remlink(lb, id);
1237                 
1238                 idtest = lb->first;
1239                 while (idtest) {
1240                         if (BLI_strcasecmp(idtest->name, id->name) > 0 || (idtest->lib && !id->lib)) {
1241                                 BLI_insertlinkbefore(lb, idtest, id);
1242                                 break;
1243                         }
1244                         idtest = idtest->next;
1245                 }
1246                 /* as last */
1247                 if (idtest == NULL) {
1248                         BLI_addtail(lb, id);
1249                 }
1250         }
1251         
1252 }
1253
1254 /**
1255  * Check to see if there is an ID with the same name as 'name'.
1256  * Returns the ID if so, if not, returns NULL
1257  */
1258 static ID *is_dupid(ListBase *lb, ID *id, const char *name)
1259 {
1260         ID *idtest = NULL;
1261         
1262         for (idtest = lb->first; idtest; idtest = idtest->next) {
1263                 /* if idtest is not a lib */ 
1264                 if (id != idtest && idtest->lib == NULL) {
1265                         /* do not test alphabetic! */
1266                         /* optimized */
1267                         if (idtest->name[2] == name[0]) {
1268                                 if (strcmp(name, idtest->name + 2) == 0) break;
1269                         }
1270                 }
1271         }
1272         
1273         return idtest;
1274 }
1275
1276 /**
1277  * Check to see if an ID name is already used, and find a new one if so.
1278  * Return true if created a new name (returned in name).
1279  *
1280  * Normally the ID that's being check is already in the ListBase, so ID *id
1281  * points at the new entry.  The Python Library module needs to know what
1282  * the name of a datablock will be before it is appended; in this case ID *id
1283  * id is NULL
1284  */
1285
1286 static bool check_for_dupid(ListBase *lb, ID *id, char *name)
1287 {
1288         ID *idtest;
1289         int nr = 0, a, left_len;
1290 #define MAX_IN_USE 64
1291         bool in_use[MAX_IN_USE];
1292         /* to speed up finding unused numbers within [1 .. MAX_IN_USE - 1] */
1293
1294         char left[MAX_ID_NAME + 8], leftest[MAX_ID_NAME + 8];
1295
1296         while (true) {
1297
1298                 /* phase 1: id already exists? */
1299                 idtest = is_dupid(lb, id, name);
1300
1301                 /* if there is no double, done */
1302                 if (idtest == NULL) return false;
1303
1304                 /* we have a dup; need to make a new name */
1305                 /* quick check so we can reuse one of first MAX_IN_USE - 1 ids if vacant */
1306                 memset(in_use, false, sizeof(in_use));
1307
1308                 /* get name portion, number portion ("name.number") */
1309                 left_len = BLI_split_name_num(left, &nr, name, '.');
1310
1311                 /* if new name will be too long, truncate it */
1312                 if (nr > 999 && left_len > (MAX_ID_NAME - 8)) {  /* assumption: won't go beyond 9999 */
1313                         left[MAX_ID_NAME - 8] = 0;
1314                         left_len = MAX_ID_NAME - 8;
1315                 }
1316                 else if (left_len > (MAX_ID_NAME - 7)) {
1317                         left[MAX_ID_NAME - 7] = 0;
1318                         left_len = MAX_ID_NAME - 7;
1319                 }
1320
1321                 for (idtest = lb->first; idtest; idtest = idtest->next) {
1322                         int nrtest;
1323                         if ( (id != idtest) &&
1324                              (idtest->lib == NULL) &&
1325                              (*name == *(idtest->name + 2)) &&
1326                              (strncmp(name, idtest->name + 2, left_len) == 0) &&
1327                              (BLI_split_name_num(leftest, &nrtest, idtest->name + 2, '.') == left_len)
1328                              )
1329                         {
1330                                 /* will get here at least once, otherwise is_dupid call above would have returned NULL */
1331                                 if (nrtest < MAX_IN_USE)
1332                                         in_use[nrtest] = true;  /* mark as used */
1333                                 if (nr <= nrtest)
1334                                         nr = nrtest + 1;    /* track largest unused */
1335                         }
1336                 }
1337                 /* At this point, 'nr' will typically be at least 1. (but not always) */
1338                 // BLI_assert(nr >= 1);
1339
1340                 /* decide which value of nr to use */
1341                 for (a = 0; a < MAX_IN_USE; a++) {
1342                         if (a >= nr) break;  /* stop when we've checked up to biggest */  /* redundant check */
1343                         if (!in_use[a]) { /* found an unused value */
1344                                 nr = a;
1345                                 /* can only be zero if all potential duplicate names had
1346                                  * nonzero numeric suffixes, which means name itself has
1347                                  * nonzero numeric suffix (else no name conflict and wouldn't
1348                                  * have got here), which means name[left_len] is not a null */
1349                                 break;
1350                         }
1351                 }
1352                 /* At this point, nr is either the lowest unused number within [0 .. MAX_IN_USE - 1],
1353                  * or 1 greater than the largest used number if all those low ones are taken.
1354                  * We can't be bothered to look for the lowest unused number beyond (MAX_IN_USE - 1). */
1355
1356                 /* If the original name has no numeric suffix, 
1357                  * rather than just chopping and adding numbers, 
1358                  * shave off the end chars until we have a unique name.
1359                  * Check the null terminators match as well so we don't get Cube.000 -> Cube.00 */
1360                 if (nr == 0 && name[left_len] == '\0') {
1361                         int len;
1362                         /* FIXME: this code will never be executed, because either nr will be
1363                          * at least 1, or name will not end at left_len! */
1364                         BLI_assert(0);
1365
1366                         len = left_len - 1;
1367                         idtest = is_dupid(lb, id, name);
1368                         
1369                         while (idtest && len > 1) {
1370                                 name[len--] = '\0';
1371                                 idtest = is_dupid(lb, id, name);
1372                         }
1373                         if (idtest == NULL) return true;
1374                         /* otherwise just continue and use a number suffix */
1375                 }
1376                 
1377                 if (nr > 999 && left_len > (MAX_ID_NAME - 8)) {
1378                         /* this would overflow name buffer */
1379                         left[MAX_ID_NAME - 8] = 0;
1380                         /* left_len = MAX_ID_NAME - 8; */ /* for now this isn't used again */
1381                         memcpy(name, left, sizeof(char) * (MAX_ID_NAME - 7));
1382                         continue;
1383                 }
1384                 /* this format specifier is from hell... */
1385                 BLI_snprintf(name, sizeof(id->name) - 2, "%s.%.3d", left, nr);
1386
1387                 return true;
1388         }
1389
1390 #undef MAX_IN_USE
1391 }
1392
1393 /*
1394  * Only for local blocks: external en indirect blocks already have a
1395  * unique ID.
1396  *
1397  * return true: created a new name
1398  */
1399
1400 bool new_id(ListBase *lb, ID *id, const char *tname)
1401 {
1402         bool result;
1403         char name[MAX_ID_NAME - 2];
1404
1405         /* if library, don't rename */
1406         if (id->lib)
1407                 return false;
1408
1409         /* if no libdata given, look up based on ID */
1410         if (lb == NULL)
1411                 lb = which_libbase(G.main, GS(id->name));
1412
1413         /* if no name given, use name of current ID
1414          * else make a copy (tname args can be const) */
1415         if (tname == NULL)
1416                 tname = id->name + 2;
1417
1418         BLI_strncpy(name, tname, sizeof(name));
1419
1420         if (name[0] == '\0') {
1421                 /* disallow empty names */
1422                 BLI_strncpy(name, DATA_(ID_FALLBACK_NAME), sizeof(name));
1423         }
1424         else {
1425                 /* disallow non utf8 chars,
1426                  * the interface checks for this but new ID's based on file names don't */
1427                 BLI_utf8_invalid_strip(name, strlen(name));
1428         }
1429
1430         result = check_for_dupid(lb, id, name);
1431         strcpy(id->name + 2, name);
1432
1433         /* This was in 2.43 and previous releases
1434          * however all data in blender should be sorted, not just duplicate names
1435          * sorting should not hurt, but noting just incase it alters the way other
1436          * functions work, so sort every time */
1437 #if 0
1438         if (result)
1439                 id_sort_by_name(lb, id);
1440 #endif
1441
1442         id_sort_by_name(lb, id);
1443         
1444         return result;
1445 }
1446
1447 /**
1448  * Pull an ID out of a library (make it local). Only call this for IDs that
1449  * don't have other library users.
1450  */
1451 void id_clear_lib_data(Main *bmain, ID *id)
1452 {
1453         bNodeTree *ntree = NULL;
1454
1455         BKE_id_lib_local_paths(bmain, id->lib, id);
1456
1457         id->lib = NULL;
1458         id->flag = LIB_LOCAL;
1459         new_id(which_libbase(bmain, GS(id->name)), id, NULL);
1460
1461         /* internal bNodeTree blocks inside ID types below
1462          * also stores id->lib, make sure this stays in sync.
1463          */
1464         switch (GS(id->name)) {
1465                 case ID_SCE:    ntree = ((Scene *)id)->nodetree;                break;
1466                 case ID_MA:             ntree = ((Material *)id)->nodetree;             break;
1467                 case ID_LA:             ntree = ((Lamp *)id)->nodetree;                 break;
1468                 case ID_WO:             ntree = ((World *)id)->nodetree;                break;
1469                 case ID_TE:             ntree = ((Tex *)id)->nodetree;                  break;
1470         }
1471         if (ntree)
1472                 ntree->id.lib = NULL;
1473 }
1474
1475 /* next to indirect usage in read/writefile also in editobject.c scene.c */
1476 void BKE_main_id_clear_newpoins(Main *bmain)
1477 {
1478         ListBase *lbarray[MAX_LIBARRAY];
1479         ID *id;
1480         int a;
1481
1482         a = set_listbasepointers(bmain, lbarray);
1483         while (a--) {
1484                 id = lbarray[a]->first;
1485                 while (id) {
1486                         id->newid = NULL;
1487                         id->flag &= ~LIB_NEW;
1488                         id = id->next;
1489                 }
1490         }
1491 }
1492
1493 static void lib_indirect_test_id(ID *id, Library *lib)
1494 {
1495 #define LIBTAG(a)   if (a && a->id.lib) { a->id.flag &= ~LIB_INDIRECT; a->id.flag |= LIB_EXTERN; } (void)0
1496         
1497         if (id->lib) {
1498                 /* datablocks that were indirectly related are now direct links
1499                  * without this, appending data that has a link to other data will fail to write */
1500                 if (lib && id->lib->parent == lib) {
1501                         id_lib_extern(id);
1502                 }
1503                 return;
1504         }
1505         
1506         if (GS(id->name) == ID_OB) {
1507                 Object *ob = (Object *)id;
1508                 Mesh *me;
1509
1510                 int a;
1511
1512 #if 0   /* XXX OLD ANIMSYS, NLASTRIPS ARE NO LONGER USED */
1513                 /* XXX old animation system! -------------------------------------- */
1514                 {
1515                         bActionStrip *strip;
1516                         for (strip = ob->nlastrips.first; strip; strip = strip->next) {
1517                                 LIBTAG(strip->object);
1518                                 LIBTAG(strip->act);
1519                                 LIBTAG(strip->ipo);
1520                         }
1521                 }
1522                 /* XXX: new animation system needs something like this? */
1523 #endif
1524
1525                 for (a = 0; a < ob->totcol; a++) {
1526                         LIBTAG(ob->mat[a]);
1527                 }
1528         
1529                 LIBTAG(ob->dup_group);
1530                 LIBTAG(ob->proxy);
1531                 
1532                 me = ob->data;
1533                 LIBTAG(me);
1534         }
1535
1536 #undef LIBTAG
1537 }
1538
1539 void BKE_main_id_tag_listbase(ListBase *lb, const bool tag)
1540 {
1541         ID *id;
1542         if (tag) {
1543                 for (id = lb->first; id; id = id->next) {
1544                         id->flag |= LIB_DOIT;
1545                 }
1546         }
1547         else {
1548                 for (id = lb->first; id; id = id->next) {
1549                         id->flag &= ~LIB_DOIT;
1550                 }
1551         }
1552 }
1553
1554 void BKE_main_id_tag_idcode(struct Main *mainvar, const short type, const bool tag)
1555 {
1556         ListBase *lb = which_libbase(mainvar, type);
1557
1558         BKE_main_id_tag_listbase(lb, tag);
1559 }
1560
1561 void BKE_main_id_tag_all(struct Main *mainvar, const bool tag)
1562 {
1563         ListBase *lbarray[MAX_LIBARRAY];
1564         int a;
1565
1566         a = set_listbasepointers(mainvar, lbarray);
1567         while (a--) {
1568                 BKE_main_id_tag_listbase(lbarray[a], tag);
1569         }
1570 }
1571
1572 /* if lib!=NULL, only all from lib local
1573  * bmain is almost certainly G.main */
1574 void BKE_library_make_local(Main *bmain, Library *lib, bool untagged_only)
1575 {
1576         ListBase *lbarray[MAX_LIBARRAY];
1577         ID *id, *idn;
1578         int a;
1579
1580         a = set_listbasepointers(bmain, lbarray);
1581         while (a--) {
1582                 id = lbarray[a]->first;
1583                 
1584                 while (id) {
1585                         id->newid = NULL;
1586                         idn = id->next;      /* id is possibly being inserted again */
1587                         
1588                         /* The check on the second line (LIB_PRE_EXISTING) is done so its
1589                          * possible to tag data you don't want to be made local, used for
1590                          * appending data, so any libdata already linked wont become local
1591                          * (very nasty to discover all your links are lost after appending)  
1592                          * */
1593                         if (id->flag & (LIB_EXTERN | LIB_INDIRECT | LIB_NEW) &&
1594                             ((untagged_only == false) || !(id->flag & LIB_PRE_EXISTING)))
1595                         {
1596                                 if (lib == NULL || id->lib == lib) {
1597                                         if (id->lib) {
1598                                                 /* for Make Local > All we should be calling id_make_local,
1599                                                  * but doing that breaks append (see #36003 and #36006), we
1600                                                  * we should make it work with all datablocks and id.us==0 */
1601                                                 id_clear_lib_data(bmain, id); /* sets 'id->flag' */
1602
1603                                                 /* why sort alphabetically here but not in
1604                                                  * id_clear_lib_data() ? - campbell */
1605                                                 id_sort_by_name(lbarray[a], id);
1606                                         }
1607                                         else {
1608                                                 id->flag &= ~(LIB_EXTERN | LIB_INDIRECT | LIB_NEW);
1609                                         }
1610                                 }
1611                         }
1612                         id = idn;
1613                 }
1614         }
1615
1616         a = set_listbasepointers(bmain, lbarray);
1617         while (a--) {
1618                 for (id = lbarray[a]->first; id; id = id->next)
1619                         lib_indirect_test_id(id, lib);
1620         }
1621 }
1622
1623
1624 void test_idbutton(char *name)
1625 {
1626         /* called from buttons: when name already exists: call new_id */
1627         ListBase *lb;
1628         ID *idtest;
1629         
1630
1631         lb = which_libbase(G.main, GS(name) );
1632         if (lb == NULL) return;
1633         
1634         /* search for id */
1635         idtest = BLI_findstring(lb, name + 2, offsetof(ID, name) + 2);
1636
1637         if (idtest && !new_id(lb, idtest, name + 2)) {
1638                 id_sort_by_name(lb, idtest);
1639         }
1640 }
1641
1642 /**
1643  * Sets the name of a block to name, suitably adjusted for uniqueness.
1644  */
1645 void rename_id(ID *id, const char *name)
1646 {
1647         ListBase *lb;
1648
1649         BLI_strncpy(id->name + 2, name, sizeof(id->name) - 2);
1650         lb = which_libbase(G.main, GS(id->name) );
1651         
1652         new_id(lb, id, name);
1653 }
1654
1655 /**
1656  * Returns in name the name of the block, with a 3-character prefix prepended
1657  * indicating whether it comes from a library, has a fake user, or no users.
1658  */
1659 void name_uiprefix_id(char *name, const ID *id)
1660 {
1661         name[0] = id->lib ? 'L' : ' ';
1662         name[1] = id->flag & LIB_FAKEUSER ? 'F' : (id->us == 0) ? '0' : ' ';
1663         name[2] = ' ';
1664
1665         strcpy(name + 3, id->name + 2);
1666 }
1667
1668 void BKE_library_filepath_set(Library *lib, const char *filepath)
1669 {
1670         /* in some cases this is used to update the absolute path from the
1671          * relative */
1672         if (lib->name != filepath) {
1673                 BLI_strncpy(lib->name, filepath, sizeof(lib->name));
1674         }
1675
1676         BLI_strncpy(lib->filepath, filepath, sizeof(lib->filepath));
1677
1678         /* not essential but set filepath is an absolute copy of value which
1679          * is more useful if its kept in sync */
1680         if (BLI_path_is_rel(lib->filepath)) {
1681                 /* note that the file may be unsaved, in this case, setting the
1682                  * filepath on an indirectly linked path is not allowed from the
1683                  * outliner, and its not really supported but allow from here for now
1684                  * since making local could cause this to be directly linked - campbell
1685                  */
1686                 const char *basepath = lib->parent ? lib->parent->filepath : G.main->name;
1687                 BLI_path_abs(lib->filepath, basepath);
1688         }
1689 }