1d561216b52ec8c1524d005888e3c59829dfb531
[blender.git] / doc / python_api / rst / info_gotcha.rst
1 *******
2 Gotchas
3 *******
4
5 This document attempts to help you work with the Blender API in areas that can be troublesome and avoid practices that are known to give instability.
6
7
8 Using Operators
9 ===============
10
11 Blender's operators are tools for users to access, that python can access them too is very useful nevertheless operators have limitations that can make them cumbersome to script.
12
13 Main limits are...
14
15 * Can't pass data such as objects, meshes or materials to operate on (operators use the context instead)
16
17 * The return value from calling an operator gives the success (if it finished or was canceled),
18   in some cases it would be more logical from an API perspective to return the result of the operation.
19
20 * Operators poll function can fail where an API function would raise an exception giving details on exactly why.
21
22
23 Why does an operator's poll fail?
24 ---------------------------------
25
26 When calling an operator gives an error like this:
27
28    >>> bpy.ops.action.clean(threshold=0.001)
29    RuntimeError: Operator bpy.ops.action.clean.poll() failed, context is incorrect
30
31 Which raises the question as to what the correct context might be?
32
33 Typically operators check for the active area type, a selection or active object they can operate on, but some operators are more picky about when they run.
34
35 In most cases you can figure out what context an operator needs simply be seeing how it's used in Blender and thinking about what it does.
36
37
38 Unfortunately if you're still stuck - the only way to **really** know whats going on is to read the source code for the poll function and see what its checking.
39
40 For python operators it's not so hard to find the source since it's included with Blender and the source file/line is included in the operator reference docs.
41
42 Downloading and searching the C code isn't so simple, especially if you're not familiar with the C language but by searching the operator name or description you should be able to find the poll function with no knowledge of C.
43
44 .. note::
45
46    Blender does have the functionality for poll functions to describe why they fail, but its currently not used much, if you're interested to help improve our API feel free to add calls to ``CTX_wm_operator_poll_msg_set`` where its not obvious why poll fails.
47
48       >>> bpy.ops.gpencil.draw()
49       RuntimeError: Operator bpy.ops.gpencil.draw.poll() Failed to find Grease Pencil data to draw into
50
51
52 The operator still doesn't work!
53 --------------------------------
54
55 Certain operators in Blender are only intended for use in a specific context, some operators for example are only called from the properties window where they check the current material, modifier or constraint.
56
57 Examples of this are:
58
59 * :mod:`bpy.ops.texture.slot_move`
60 * :mod:`bpy.ops.constraint.limitdistance_reset`
61 * :mod:`bpy.ops.object.modifier_copy`
62 * :mod:`bpy.ops.buttons.file_browse`
63
64 Another possibility is that you are the first person to attempt to use this operator in a script and some modifications need to be made to the operator to run in a different context, if the operator should logically be able to run but fails when accessed from a script it should be reported to the bug tracker.
65
66
67 Stale Data
68 ==========
69
70 No updates after setting values
71 -------------------------------
72
73 Sometimes you want to modify values from python and immediately access the updated values, eg:
74
75 Once changing the objects :class:`bpy.types.Object.location` you may want to access its transformation right after from :class:`bpy.types.Object.matrix_world`, but this doesn't work as you might expect.
76
77 Consider the calculations that might go into working out the object's final transformation, this includes:
78
79 * animation function curves.
80 * drivers and their pythons expressions.
81 * constraints
82 * parent objects and all of their f-curves, constraints etc.
83
84 To avoid expensive recalculations every time a property is modified, Blender defers making the actual calculations until they are needed.
85
86 However, while the script runs you may want to access the updated values.
87
88 This can be done by calling :class:`bpy.types.Scene.update` after modifying values which recalculates all data that is tagged to be updated.
89
90
91 Can I redraw during the script?
92 -------------------------------
93
94 The official answer to this is no, or... *"You don't want to do that"*.
95
96 To give some background on the topic...
97
98 While a script executes Blender waits for it to finish and is effectively locked until its done, while in this state Blender won't redraw or respond to user input.
99 Normally this is not such a problem because scripts distributed with Blender tend not to run for an extended period of time, nevertheless scripts *can* take ages to execute and its nice to see whats going on in the view port.
100
101 Tools that lock Blender in a loop and redraw are highly discouraged since they conflict with Blenders ability to run multiple operators at once and update different parts of the interface as the tool runs.
102
103 So the solution here is to write a **modal** operator, that is - an operator which defines a modal() function, See the modal operator template in the text  editor.
104
105 Modal operators execute on user input or setup their own timers to run frequently, they can handle the events or pass through to be handled by the keymap or other modal operators.
106
107 Transform, Painting, Fly-Mode and File-Select are example of a modal operators.
108
109 Writing modal operators takes more effort than a simple ``for`` loop that happens to redraw but is more flexible and integrates better with Blenders design.
110
111
112 **Ok, Ok! I still want to draw from python**
113
114 If you insist - yes its possible, but scripts that use this hack wont be considered for inclusion in Blender and any issues with using it wont be considered bugs, this is also not guaranteed to work in future releases.
115
116 .. code-block:: python
117
118    bpy.ops.wm.redraw_timer(type='DRAW_WIN_SWAP', iterations=1)
119
120
121 I can't edit the mesh in edit-mode!
122 ===================================
123
124 Blender's EditMesh is an internal data structure (not saved and not exposed to python), this gives the main annoyance that you need to exit edit-mode to edit the mesh from python.
125
126 The reason we have not made much attempt to fix this yet is because we
127 will likely move to BMesh mesh API eventually, so any work on the API now will be wasted effort.
128
129 With the BMesh API we may expose mesh data to python so we can
130 write useful tools in python which are also fast to execute while in edit-mode.
131
132 For the time being this limitation just has to be worked around but we're aware its frustrating needs to be addressed.
133
134
135 .. _info_gotcha_mesh_faces:
136
137 NGons and Tessellation Faces
138 ============================
139
140 Since 2.63 NGons are supported, this adds some complexity since in some cases you need to access triangles/quads still (some exporters for example).
141
142 There are now 3 ways to access faces:
143
144 * :class:`bpy.types.MeshPolygon` - this is the data structure which now stores faces in object mode (access as ``mesh.polygons`` rather then ``mesh.faces``).
145 * :class:`bpy.types.MeshTessFace` - the result of triangulating (tessellated) polygons, the main method of face access in 2.62 or older (access as ``mesh.tessfaces``).
146 * :class:`bmesh.types.BMFace` - the polygons as used in editmode.
147
148 For the purpose of the following documentation, these will be referred to as polygons, tessfaces and bmesh-faces respectively.
149
150 5+ sided faces will be referred to as ``ngons``.
151
152 Support Overview
153 ----------------
154
155 +--------------+------------------------------+--------------------------------+--------------------------------+
156 |Usage         |:class:`bpy.types.MeshPolygon`|:class:`bpy.types.MeshTessFace` |:class:`bmesh.types.BMFace`     |
157 +==============+==============================+================================+================================+
158 |Import/Create |Bad (inflexible)              |Fine (supported as upgrade path)|Best                            |
159 +--------------+------------------------------+--------------------------------+--------------------------------+
160 |Manipulate    |Bad (inflexible)              |Bad (loses ngons)               |Best                            |
161 +--------------+------------------------------+--------------------------------+--------------------------------+
162 |Export/Output |Good (ngons)                  |Good (When ngons can't be used) |Good (ngons, memory overhead)   |
163 +--------------+------------------------------+--------------------------------+--------------------------------+
164
165
166 .. note::
167
168    Using the :mod:`bmesh` api is completely separate api from :mod:`bpy`, typically you would would use one or the other based on the level of editing needed, not simply for a different way to access faces.
169
170
171 Creating
172 --------
173
174 All 3 datatypes can be used for face creation.
175
176 * polygons are the most efficient way to create faces but the data structure is _very_ rigid and inflexible, you must have all your vertes and faces ready and create them all at once. This is further complicated by the fact that each polygon does not store its own verts (as with tessfaces), rather they reference an index and size in :class:`bpy.types.Mesh.loops` which are a fixed array too.
177 * tessfaces ideally should not be used for creating faces since they are really only tessellation cache of polygons, however for scripts upgrading from 2.62 this is by far the most straightforward option. This works by creating tessfaces and when finished - they can be converted into polygons by calling :class:`bpy.types.Mesh.update`. The obvious limitation is ngons can't be created this way.
178 * bmesh-faces are most likely the easiest way for new scripts to create faces, since faces can be added one by one and the api has features intended for mesh manipulation. While :class:`bmesh.types.BMesh` uses more memory it can be managed by only operating on one mesh at a time.
179
180
181 Editing
182 -------
183
184 Editing is where the 3 data types vary most.
185
186 * polygons are very limited for editing, changing materials and options like smooth works but for anything else they are too inflexible and are only intended for storage.
187 * tessfaces should not be used for editing geometry because doing so will cause existing ngons to be tessellated.
188 * bmesh-faces are by far the best way to manipulate geometry.
189
190 Exporting
191 ---------
192
193 All 3 data types can be used for exporting, the choice mostly depends on whether the target format supports ngons or not.
194
195 * polygons are the most direct & efficient way to export providing they convert into the output format easily enough.
196 * tessfaces work well for exporting to formats which dont support ngons, in fact this is the only place where their use is encouraged.
197 * bmesh-faces can work for exporting too but may not be necessary if polygons can be used since using bmesh gives some overhead because its not the native storage format in object mode.
198
199
200 Upgrading Importers from 2.62
201 -----------------------------
202
203 Importers can be upgraded to work with only minor changes.
204
205 The main change to be made is used the tessellation versions of each attribute.
206
207 * mesh.faces --> :class:`bpy.types.Mesh.tessfaces`
208 * mesh.uv_textures --> :class:`bpy.types.Mesh.tessface_uv_textures`
209 * mesh.vertex_colors --> :class:`bpy.types.Mesh.tessface_vertex_colors`
210
211 Once the data is created call :class:`bpy.types.Mesh.update` to convert the tessfaces into polygons.
212
213
214 Upgrading Exporters from 2.62
215 -----------------------------
216
217 For exporters the most direct way to upgrade is to use tessfaces as with importing however its important to know that tessfaces may **not** exist for a mesh, the array will be empty as if there are no faces.
218
219 So before accessing tessface data call: :class:`bpy.types.Mesh.update` ``(calc_tessface=True)``.
220
221
222 EditBones, PoseBones, Bone... Bones
223 ===================================
224
225 Armature Bones in Blender have three distinct data structures that contain them. If you are accessing the bones through one of them, you may not have access to the properties you really need.
226
227 .. note::
228
229    In the following examples ``bpy.context.object`` is assumed to be an armature object.
230
231
232 Edit Bones
233 ----------
234
235 ``bpy.context.object.data.edit_bones`` contains a editbones; to access them you must set the armature mode to edit mode first (editbones do not exist in object or pose mode). Use these to create new bones, set their head/tail or roll, change their parenting relationships to other bones, etc.
236
237 Example using :class:`bpy.types.EditBone` in armature editmode:
238
239 This is only possible in edit mode.
240
241    >>> bpy.context.object.data.edit_bones["Bone"].head = Vector((1.0, 2.0, 3.0)) 
242
243 This will be empty outside of editmode.
244
245    >>> mybones = bpy.context.selected_editable_bones
246
247 Returns an editbone only in edit mode.
248
249    >>> bpy.context.active_bone
250
251
252 Bones (Object Mode)
253 -------------------
254
255 ``bpy.context.object.data.bones`` contains bones. These *live* in object mode, and have various properties you can change, note that the head and tail properties are read-only.
256
257 Example using :class:`bpy.types.Bone` in object or pose mode:
258
259 Returns a bone (not an editbone) outside of edit mode
260
261    >>> bpy.context.active_bone
262
263 This works, as with blender the setting can be edited in any mode
264
265    >>> bpy.context.object.data.bones["Bone"].use_deform = True
266
267 Accessible but read-only
268
269    >>> tail = myobj.data.bones["Bone"].tail
270
271
272 Pose Bones
273 ----------
274
275 ``bpy.context.object.pose.bones`` contains pose bones. This is where animation data resides, i.e. animatable transformations are applied to pose bones, as are constraints and ik-settings.
276
277 Examples using :class:`bpy.types.PoseBone` in object or pose mode:
278
279 .. code-block:: python
280
281    # Gets the name of the first constraint (if it exists)
282    bpy.context.object.pose.bones["Bone"].constraints[0].name 
283
284    # Gets the last selected pose bone (pose mode only)
285    bpy.context.active_pose_bone
286
287
288 .. note::
289
290    Notice the pose is accessed from the object rather than the object data, this is why blender can have 2 or more objects sharing the same armature in different poses.
291
292 .. note::
293
294    Strictly speaking PoseBone's are not bones, they are just the state of the armature, stored in the :class:`bpy.types.Object` rather than the :class:`bpy.types.Armature`, the real bones are however accessible from the pose bones - :class:`bpy.types.PoseBone.bone`
295
296
297 Armature Mode Switching
298 -----------------------
299
300 While writing scripts that deal with armatures you may find you have to switch between modes, when doing so take care when switching out of editmode not to keep references to the edit-bones or their head/tail vectors. Further access to these will crash blender so its important the script clearly separates sections of the code which operate in different modes.
301
302 This is mainly an issue with editmode since pose data can be manipulated without having to be in pose mode, however for operator access you may still need to enter pose mode.
303
304
305 Data Names
306 ==========
307
308
309 Naming Limitations
310 ------------------
311
312 A common mistake is to assume newly created data is given the requested name.
313
314 This can cause bugs when you add some data (normally imported) and then reference it later by name.
315
316 .. code-block:: python
317
318    bpy.data.meshes.new(name=meshid)
319    
320    # normally some code, function calls...
321    bpy.data.meshes[meshid]
322
323
324 Or with name assignment...
325
326 .. code-block:: python
327
328    obj.name = objname
329    
330    # normally some code, function calls...
331    obj = bpy.data.meshes[objname]
332
333
334 Data names may not match the assigned values if they exceed the maximum length, are already used or an empty string.
335
336
337 Its better practice not to reference objects by names at all, once created you can store the data in a list, dictionary, on a class etc, there is rarely a reason to have to keep searching for the same data by name.
338
339
340 If you do need to use name references, its best to use a dictionary to maintain a mapping between the names of the imported assets and the newly created data, this way you don't run this risk of referencing existing data from the blend file, or worse modifying it.
341
342 .. code-block:: python
343
344    # typically declared in the main body of the function.
345    mesh_name_mapping = {}
346    
347    mesh = bpy.data.meshes.new(name=meshid)
348    mesh_name_mapping[meshid] = mesh
349    
350    # normally some code, or function calls...
351    
352    # use own dictionary rather then bpy.data
353    mesh = mesh_name_mapping[meshid]
354
355
356 Library Collisions
357 ------------------
358
359 Blender keeps data names unique - :class:`bpy.types.ID.name` so you can't name two objects, meshes, scenes etc the same thing by accident.
360
361 However when linking in library data from another blend file naming collisions can occur, so its best to avoid referencing data by name at all.
362
363 This can be tricky at times and not even blender handles this correctly in some case (when selecting the modifier object for eg you can't select between multiple objects with the same name), but its still good to try avoid problems in this area.
364
365
366 If you need to select between local and library data, there is a feature in ``bpy.data`` members to allow for this.
367
368 .. code-block:: python
369
370    # typical name lookup, could be local or library.
371    obj = bpy.data.objects["my_obj"]
372
373    # library object name look up using a pair
374    # where the second argument is the library path matching bpy.types.Library.filepath
375    obj = bpy.data.objects["my_obj", "//my_lib.blend"]
376
377    # local object name look up using a pair
378    # where the second argument excludes library data from being returned.
379    obj = bpy.data.objects["my_obj", None]
380
381    # both the examples above also works for 'get'
382    obj = bpy.data.objects.get(("my_obj", None))
383
384
385 Relative File Paths
386 ===================
387
388 Blenders relative file paths are not compatible with standard python modules such as ``sys`` and ``os``.
389
390 Built in python functions don't understand blenders ``//`` prefix which denotes the blend file path.
391
392 A common case where you would run into this problem is when exporting a material with associated image paths.
393
394 >>> bpy.path.abspath(image.filepath)
395
396
397 When using blender data from linked libraries there is an unfortunate complication since the path will be relative to the library rather then the open blend file. When the data block may be from an external blend file pass the library argument from the :class:`bpy.types.ID`.
398
399 >>> bpy.path.abspath(image.filepath, library=image.library)
400
401
402 These returns the absolute path which can be used with native python modules.
403
404
405 Unicode Problems
406 ================
407
408 Python supports many different encodings so there is nothing stopping you from writing a script in latin1 or iso-8859-15.
409
410 See `pep-0263 <http://www.python.org/dev/peps/pep-0263/>`_
411
412 However this complicates things for the python api because blend files themselves don't have an encoding.
413
414 To simplify the problem for python integration and script authors we have decided all strings in blend files **must** be UTF-8 or ASCII compatible.
415
416 This means assigning strings with different encodings to an object names for instance will raise an error.
417
418 Paths are an exception to this rule since we cannot ignore the existane of non-utf-8 paths on peoples filesystems.
419
420 This means seemingly harmless expressions can raise errors, eg.
421
422    >>> print(bpy.data.filepath)
423    UnicodeEncodeError: 'ascii' codec can't encode characters in position 10-21: ordinal not in range(128)
424
425    >>> bpy.context.object.name = bpy.data.filepath
426    Traceback (most recent call last):
427      File "<blender_console>", line 1, in <module>
428    TypeError: bpy_struct: item.attr= val: Object.name expected a string type, not str
429
430
431 Here are 2 ways around filesystem encoding issues:
432
433    >>> print(repr(bpy.data.filepath))
434
435    >>> import os
436    >>> filepath_bytes = os.fsencode(bpy.data.filepath)
437    >>> filepath_utf8 = filepath_bytes.decode('utf-8', "replace")
438    >>> bpy.context.object.name = filepath_utf8
439
440
441 Unicode encoding/decoding is a big topic with comprehensive python documentation, to avoid getting stuck too deep in encoding problems - here are some suggestions:
442
443 * Always use utf-8 encoiding or convert to utf-8 where the input is unknown.
444
445 * Avoid manipulating filepaths as strings directly, use ``os.path`` functions instead.
446
447 * Use ``os.fsencode()`` / ``os.fsdecode()`` rather then the built in string decoding functions when operating on paths.
448
449 * To print paths or to include them in the user interface use ``repr(path)`` first or ``"%r" % path`` with string formatting.
450
451 * **Possibly** - use bytes instead of python strings, when reading some input its less trouble to read it as binary data though you will still need to decide how to treat any strings you want to use with Blender, some importers do this.
452
453
454 Strange errors using 'threading' module
455 =======================================
456
457 Python threading with Blender only works properly when the threads finish up before the script does. By using ``threading.join()`` for example.
458
459 Heres an example of threading supported by Blender:
460
461 .. code-block:: python
462
463    import threading
464    import time
465
466    def prod():
467        print(threading.current_thread().name, "Starting")
468
469        # do something vaguely useful
470        import bpy
471        from mathutils import Vector
472        from random import random
473
474        prod_vec = Vector((random() - 0.5, random() - 0.5, random() - 0.5))
475        print("Prodding", prod_vec)
476        bpy.data.objects["Cube"].location += prod_vec
477        time.sleep(random() + 1.0)
478        # finish
479
480        print(threading.current_thread().name, "Exiting")
481
482    threads = [threading.Thread(name="Prod %d" % i, target=prod) for i in range(10)]
483
484
485    print("Starting threads...")
486
487    for t in threads:
488        t.start()
489
490    print("Waiting for threads to finish...")
491
492    for t in threads:
493        t.join()
494
495
496 This an example of a timer which runs many times a second and moves the default cube continuously while Blender runs (Unsupported).
497
498 .. code-block:: python
499
500    def func():
501        print("Running...")
502        import bpy
503        bpy.data.objects['Cube'].location.x += 0.05
504
505    def my_timer():
506        from threading import Timer
507        t = Timer(0.1, my_timer)
508        t.start()
509        func()
510
511    my_timer()
512
513 Use cases like the one above which leave the thread running once the script finishes may seem to work for a while but end up causing random crashes or errors in Blender's own drawing code.
514
515 So far, no work has gone into making Blender's python integration thread safe, so until its properly supported, best not make use of this.
516
517 .. note::
518
519    Pythons threads only allow co-currency and won't speed up your scripts on multi-processor systems, the ``subprocess`` and ``multiprocess`` modules can be used with blender and make use of multiple CPU's too.
520
521
522 Help! My script crashes Blender
523 ===============================
524
525 Ideally it would be impossible to crash Blender from python however there are some problems with the API where it can be made to crash.
526
527 Strictly speaking this is a bug in the API but fixing it would mean adding memory verification on every access since most crashes are caused by the python objects referencing Blenders memory directly, whenever the memory is freed, further python access to it can crash the script. But fixing this would make the scripts run very slow, or writing a very different kind of API which doesn't reference the memory directly.
528
529 Here are some general hints to avoid running into these problems.
530
531 * Be aware of memory limits, especially when working with large lists since Blender can crash simply by running out of memory.
532
533 * Many hard to fix crashes end up being because of referencing freed data, when removing data be sure not to hold any references to it.
534
535 * Modules or classes that remain active while Blender is used, should not hold references to data the user may remove, instead, fetch data from the context each time the script is activated.
536
537 * Crashes may not happen every time, they may happen more on some configurations/operating-systems.
538
539
540 Undo/Redo
541 ---------
542
543 Undo invalidates all :class:`bpy.types.ID` instances (Object, Scene, Mesh etc).
544
545 This example shows how you can tell undo changes the memory locations.
546
547    >>> hash(bpy.context.object)
548    -9223372036849950810
549    >>> hash(bpy.context.object)
550    -9223372036849950810
551
552    # ... move the active object, then undo
553
554    >>> hash(bpy.context.object)
555    -9223372036849951740
556
557 As suggested above, simply not holding references to data when Blender is used interactively by the user is the only way to ensure the script doesn't become unstable.
558
559
560 Edit Mode / Memory Access
561 -------------------------
562
563 Switching edit-mode ``bpy.ops.object.mode_set(mode='EDIT')`` / ``bpy.ops.object.mode_set(mode='OBJECT')`` will re-allocate objects data, any references to a meshes vertices/faces/uvs, armatures bones, curves points etc cannot be accessed after switching edit-mode.
564
565 Only the reference to the data its self can be re-accessed, the following example will crash.
566
567 .. code-block:: python
568
569    mesh = bpy.context.active_object.data
570    faces = mesh.faces
571    bpy.ops.object.mode_set(mode='EDIT')
572    bpy.ops.object.mode_set(mode='OBJECT')
573
574    # this will crash
575    print(faces)
576
577
578 So after switching edit-mode you need to re-access any object data variables, the following example shows how to avoid the crash above.
579
580 .. code-block:: python
581
582    mesh = bpy.context.active_object.data
583    faces = mesh.faces
584    bpy.ops.object.mode_set(mode='EDIT')
585    bpy.ops.object.mode_set(mode='OBJECT')
586
587    # faces have been re-allocated
588    faces = mesh.faces
589    print(faces)
590
591
592 These kinds of problems can happen for any functions which re-allocate the object data but are most common when switching edit-mode.
593
594
595 Array Re-Allocation
596 -------------------
597
598 When adding new points to a curve or vertices's/edges/faces to a mesh, internally the array which stores this data is re-allocated.
599
600 .. code-block:: python
601
602    bpy.ops.curve.primitive_bezier_curve_add()
603    point = bpy.context.object.data.splines[0].bezier_points[0]
604    bpy.context.object.data.splines[0].bezier_points.add()
605
606    # this will crash!
607    point.co = 1.0, 2.0, 3.0
608
609 This can be avoided by re-assigning the point variables after adding the new one or by storing indices's to the points rather then the points themselves.
610
611 The best way is to sidestep the problem altogether add all the points to the curve at once. This means you don't have to worry about array re-allocation and its faster too since reallocating the entire array for every point added is inefficient.
612
613
614 Removing Data
615 -------------
616
617 **Any** data that you remove shouldn't be modified or accessed afterwards, this includes f-curves, drivers, render layers, timeline markers, modifiers, constraints along with objects, scenes, groups, bones.. etc.
618
619 This is a problem in the API at the moment that we should eventually solve.
620
621
622 sys.exit
623 ========
624
625 Some python modules will call sys.exit() themselves when an error occurs, while not common behavior this is something to watch out for because it may seem as if blender is crashing since sys.exit() will quit blender immediately.
626
627 For example, the ``optparse`` module will print an error and exit if the arguments are invalid.
628
629 An ugly way of troubleshooting this is to set ``sys.exit = None`` and see what line of python code is quitting, you could of course replace ``sys.exit``/ with your own function but manipulating python in this way is bad practice.
630