Even more bugfixes for retarget, for various types of special cases.
[blender.git] / release / scripts / modules / retarget.py
1 # ##### BEGIN GPL LICENSE BLOCK #####
2 #
3 #  This program is free software; you can redistribute it and/or
4 #  modify it under the terms of the GNU General Public License
5 #  as published by the Free Software Foundation; either version 2
6 #  of the License, or (at your option) any later version.
7 #
8 #  This program is distributed in the hope that it will be useful,
9 #  but WITHOUT ANY WARRANTY; without even the implied warranty of
10 #  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11 #  GNU General Public License for more details.
12 #
13 #  You should have received a copy of the GNU General Public License
14 #  along with this program; if not, write to the Free Software Foundation,
15 #  Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
16 #
17 # ##### END GPL LICENSE BLOCK #####
18
19 # <pep8 compliant>
20
21 import bpy
22 from mathutils import *
23 from math import radians, acos
24
25
26 def hasIKConstraint(pose_bone):
27     #utility function / predicate, returns True if given bone has IK constraint
28     ik = [constraint for constraint in pose_bone.constraints if constraint.type == "IK"]
29     if ik:
30         return ik[0]
31     else:
32         return False
33
34
35 def createDictionary(perf_arm, end_arm):
36     # clear any old data
37     for end_bone in end_arm.bones:
38         for mapping in end_bone.reverseMap:
39             end_bone.reverseMap.remove(0)
40
41     for perf_bone in perf_arm.bones:
42         #find its match and add perf_bone to the match's mapping
43         if perf_bone.map:
44             end_bone = end_arm.bones[perf_bone.map]
45             newMap = end_bone.reverseMap.add()
46             newMap.name = perf_bone.name
47
48     #root is the root of the enduser
49     root = end_arm.bones[0].name
50     feetBones = [bone.name for bone in perf_arm.bones if bone.foot]
51     return feetBones, root
52
53
54 def loadMapping(perf_arm, end_arm):
55
56     for end_bone in end_arm.bones:
57         #find its match and add perf_bone to the match's mapping
58         if end_bone.reverseMap:
59             for perf_bone in end_bone.reverseMap:
60                 perf_arm.bones[perf_bone.name].map = end_bone.name
61
62 #creation of intermediate armature
63 # the intermediate armature has the hiearchy of the end user,
64 # does not have rotation inheritence
65 # and bone roll is identical to the performer
66 # its purpose is to copy over the rotations
67 # easily while concentrating on the hierarchy changes
68
69
70 def createIntermediate(performer_obj, enduser_obj, root, s_frame, e_frame, scene):
71     #creates and keyframes an empty with its location
72     #the original position of the tail bone
73     #useful for storing the important data in the original motion
74     #i.e. using this empty to IK the chain to that pos / DEBUG
75
76     #Simple 1to1 retarget of a bone
77     def singleBoneRetarget(inter_bone, perf_bone):
78             perf_world_rotation = perf_bone.matrix * performer_obj.matrix_world
79             inter_world_base_rotation = inter_bone.bone.matrix_local * inter_obj.matrix_world
80             inter_world_base_inv = Matrix(inter_world_base_rotation)
81             inter_world_base_inv.invert()
82             return (inter_world_base_inv.to_3x3() * perf_world_rotation.to_3x3()).to_4x4()
83
84     #uses 1to1 and interpolation/averaging to match many to 1 retarget
85     def manyPerfToSingleInterRetarget(inter_bone, performer_bones_s):
86         retarget_matrices = [singleBoneRetarget(inter_bone, perf_bone) for perf_bone in performer_bones_s]
87         lerp_matrix = Matrix()
88         for i in range(len(retarget_matrices) - 1):
89             first_mat = retarget_matrices[i]
90             next_mat = retarget_matrices[i + 1]
91             lerp_matrix = first_mat.lerp(next_mat, 0.5)
92         return lerp_matrix
93
94     #determines the type of hierachy change needed and calls the
95     #right function
96     def retargetPerfToInter(inter_bone):
97         if inter_bone.bone.reverseMap:
98             perf_bone_name = inter_bone.bone.reverseMap
99                 # 1 to many not supported yet
100                 # then its either a many to 1 or 1 to 1
101             if len(perf_bone_name) > 1:
102                 performer_bones_s = [performer_bones[map.name] for map in perf_bone_name]
103                 #we need to map several performance bone to a single
104                 inter_bone.matrix_basis = manyPerfToSingleInterRetarget(inter_bone, performer_bones_s)
105             else:
106                 perf_bone = performer_bones[perf_bone_name[0].name]
107                 inter_bone.matrix_basis = singleBoneRetarget(inter_bone, perf_bone)
108         inter_bone.keyframe_insert("rotation_quaternion")
109
110     #creates the intermediate armature object
111     inter_obj = enduser_obj.copy()
112     inter_obj.data = inter_obj.data.copy()  # duplicate data
113     bpy.context.scene.objects.link(inter_obj)
114     inter_obj.name = "intermediate"
115     bpy.context.scene.objects.active = inter_obj
116     bpy.ops.object.mode_set(mode='EDIT')
117     #add some temporary connecting bones in case end user bones are not connected to their parents
118     print("creating temp bones")
119     for bone in inter_obj.data.edit_bones:
120         if not bone.use_connect and bone.parent:
121             if inter_obj.data.bones[bone.parent.name].reverseMap or inter_obj.data.bones[bone.name].reverseMap:
122                 newBone = inter_obj.data.edit_bones.new("Temp")
123                 newBone.head = bone.parent.tail
124                 newBone.tail = bone.head
125                 newBone.parent = bone.parent
126                 bone.parent = newBone
127                 bone.use_connect = True
128                 newBone.use_connect = True
129     #resets roll
130     print("retargeting to intermediate")
131     bpy.ops.armature.calculate_roll(type='Z')
132     bpy.ops.object.mode_set(mode="OBJECT")
133     inter_obj.data.name = "inter_arm"
134     inter_arm = inter_obj.data
135     performer_bones = performer_obj.pose.bones
136     inter_bones = inter_obj.pose.bones
137     #clears inheritance
138     for inter_bone in inter_bones:
139         if inter_bone.bone.reverseMap:
140             inter_bone.bone.use_inherit_rotation = False
141         else:
142             inter_bone.bone.use_inherit_rotation = True
143
144     for t in range(s_frame, e_frame):
145         scene.frame_set(t)
146         for bone in inter_bones:
147             retargetPerfToInter(bone)
148
149     return inter_obj
150
151 # this procedure copies the rotations over from the intermediate
152 # armature to the end user one.
153 # As the hierarchies are 1 to 1, this is a simple matter of
154 # copying the rotation, while keeping in mind bone roll, parenting, etc.
155 # TODO: Control Bones: If a certain bone is constrained in a way
156 #       that its rotation is determined by another (a control bone)
157 #       We should determine the right pos of the control bone.
158 #       Scale: ? Should work but needs testing.
159
160
161 def retargetEnduser(inter_obj, enduser_obj, root, s_frame, e_frame, scene):
162     inter_bones = inter_obj.pose.bones
163     end_bones = enduser_obj.pose.bones
164
165     def bakeTransform(end_bone):
166         src_bone = inter_bones[end_bone.name]
167         trg_bone = end_bone
168         bake_matrix = src_bone.matrix
169         rest_matrix = trg_bone.bone.matrix_local
170
171         if trg_bone.parent and trg_bone.bone.use_inherit_rotation:
172             srcParent = src_bone.parent
173             if "Temp" in srcParent.name:
174                 srcParent = srcParent.parent
175             parent_mat = srcParent.matrix
176             parent_rest = trg_bone.parent.bone.matrix_local
177             parent_rest_inv = parent_rest.copy()
178             parent_rest_inv.invert()
179             parent_mat_inv = parent_mat.copy()
180             parent_mat_inv.invert()
181             bake_matrix = parent_mat_inv * bake_matrix
182             rest_matrix = parent_rest_inv * rest_matrix
183
184         rest_matrix_inv = rest_matrix.copy()
185         rest_matrix_inv.invert()
186         bake_matrix = rest_matrix_inv * bake_matrix
187         end_bone.matrix_basis = bake_matrix
188         rot_mode = end_bone.rotation_mode
189         if rot_mode == "QUATERNION":
190             end_bone.keyframe_insert("rotation_quaternion")
191         elif rot_mode == "AXIS_ANGLE":
192             end_bone.keyframe_insert("rotation_axis_angle")
193         else:
194             end_bone.keyframe_insert("rotation_euler")
195         if not end_bone.bone.use_connect:
196             end_bone.keyframe_insert("location")
197
198         for bone in end_bone.children:
199             bakeTransform(bone)
200
201     for t in range(s_frame, e_frame):
202         scene.frame_set(t)
203         end_bone = end_bones[root]
204         end_bone.location = Vector((0, 0, 0))
205         end_bone.keyframe_insert("location")
206         bakeTransform(end_bone)
207
208 #recieves the performer feet bones as a variable
209 # by "feet" I mean those bones that have plants
210 # (they don't move, despite root moving) somewhere in the animation.
211
212
213 def copyTranslation(performer_obj, enduser_obj, perfFeet, root, s_frame, e_frame, scene, enduser_obj_mat):
214
215     perf_bones = performer_obj.pose.bones
216     end_bones = enduser_obj.pose.bones
217
218     perfRoot = perf_bones[0].name
219     endFeet = [perf_bones[perfBone].bone.map for perfBone in perfFeet]
220     locDictKeys = perfFeet + endFeet + [perfRoot]
221
222     def tailLoc(bone):
223         return bone.center + (bone.vector / 2)
224
225     #Step 1 - we create a dict that contains these keys:
226     #(Performer) Hips, Feet
227     #(End user) Feet
228     # where the values are their world position on each frame in range (s,e)
229
230     locDict = {}
231     for key in locDictKeys:
232         locDict[key] = []
233
234     for t in range(scene.frame_start, scene.frame_end):
235         scene.frame_set(t)
236         for bone in perfFeet:
237             locDict[bone].append(tailLoc(perf_bones[bone]))
238         locDict[perfRoot].append(tailLoc(perf_bones[perfRoot]))
239         for bone in endFeet:
240             locDict[bone].append(tailLoc(end_bones[bone]))
241
242     # now we take our locDict and analyze it.
243     # we need to derive all chains
244
245     locDeriv = {}
246     for key in locDictKeys:
247         locDeriv[key] = []
248
249     for key in locDict.keys():
250         graph = locDict[key]
251         locDeriv[key] = [graph[t + 1] - graph[t] for t in range(len(graph) - 1)]
252
253     # now find the plant frames, where perfFeet don't move much
254
255     linearAvg = []
256
257     for key in perfFeet:
258         for i in range(len(locDeriv[key]) - 1):
259             v = locDeriv[key][i]
260             hipV = locDeriv[perfRoot][i]
261             endV = locDeriv[perf_bones[key].bone.map][i]
262             if (v.length < 0.1):
263                 #this is a plant frame.
264                 #lets see what the original hip delta is, and the corresponding
265                 #end bone's delta
266                 if endV.length != 0:
267                     linearAvg.append(hipV.length / endV.length)
268
269     bpy.ops.object.add()
270     stride_bone = bpy.context.active_object
271     stride_bone.name = "stride_bone"
272
273     if linearAvg:
274         #determine the average change in scale needed
275         avg = sum(linearAvg) / len(linearAvg)
276         scene.frame_set(s_frame)
277         initialPos = (tailLoc(perf_bones[perfRoot]) / avg)
278         for t in range(s_frame, e_frame):
279             scene.frame_set(t)
280             #calculate the new position, by dividing by the found ratio between performer and enduser
281             newTranslation = (tailLoc(perf_bones[perfRoot]) / avg)
282             stride_bone.location = (newTranslation - initialPos) * enduser_obj_mat
283             stride_bone.keyframe_insert("location")
284     return stride_bone
285
286
287 def IKRetarget(performer_obj, enduser_obj, s_frame, e_frame, scene):
288     end_bones = enduser_obj.pose.bones
289     for pose_bone in end_bones:
290         ik_constraint = hasIKConstraint(pose_bone)
291         if ik_constraint:
292             target_is_bone = False
293             # set constraint target to corresponding empty if targetless,
294             # if not, keyframe current target to corresponding empty
295             perf_bone = pose_bone.bone.reverseMap[-1].name
296             orgLocTrg = originalLocationTarget(pose_bone)
297             if not ik_constraint.target:
298                 ik_constraint.target = orgLocTrg
299                 target = orgLocTrg
300
301             # There is a target now
302             if ik_constraint.subtarget:
303                 target = ik_constraint.target.pose.bones[ik_constraint.subtarget]
304                 target.bone.use_local_location = False
305                 target_is_bone = True
306             else:
307                 target = ik_constraint.target
308
309             # bake the correct locations for the ik target bones
310             for t in range(s_frame, e_frame):
311                 scene.frame_set(t)
312                 if target_is_bone:
313                     final_loc = pose_bone.tail - target.bone.matrix_local.to_translation()
314                 else:
315                     final_loc = pose_bone.tail
316                 target.location = final_loc
317                 target.keyframe_insert("location")
318             ik_constraint.mute = False
319
320
321 def turnOffIK(enduser_obj):
322     end_bones = enduser_obj.pose.bones
323     for pose_bone in end_bones:
324         if pose_bone.is_in_ik_chain:
325             pass
326             # TODO:
327             # set stiffness according to place on chain
328             # and values from analysis that is stored in the bone
329             #pose_bone.ik_stiffness_x = 0.5
330             #pose_bone.ik_stiffness_y = 0.5
331             #pose_bone.ik_stiffness_z = 0.5
332         ik_constraint = hasIKConstraint(pose_bone)
333         if ik_constraint:
334             ik_constraint.mute = True
335
336
337 #copy the object matrixes and clear them (to be reinserted later)
338 def cleanAndStoreObjMat(performer_obj, enduser_obj):
339     perf_obj_mat = performer_obj.matrix_world.copy()
340     enduser_obj_mat = enduser_obj.matrix_world.copy()
341     zero_mat = Matrix()
342     performer_obj.matrix_world = zero_mat
343     enduser_obj.matrix_world = zero_mat
344     return perf_obj_mat, enduser_obj_mat
345
346
347 #restore the object matrixes after parenting the auto generated IK empties
348 def restoreObjMat(performer_obj, enduser_obj, perf_obj_mat, enduser_obj_mat, stride_bone):
349     pose_bones = enduser_obj.pose.bones
350     for pose_bone in pose_bones:
351         if pose_bone.name + "Org" in bpy.data.objects:
352             empty = bpy.data.objects[pose_bone.name + "Org"]
353             empty.parent = stride_bone
354     performer_obj.matrix_world = perf_obj_mat
355     enduser_obj.matrix_world = enduser_obj_mat
356     enduser_obj.parent = stride_bone
357
358
359 #create (or return if exists) the related IK empty to the bone
360 def originalLocationTarget(end_bone):
361     if not end_bone.name + "Org" in bpy.data.objects:
362         bpy.ops.object.add()
363         empty = bpy.context.active_object
364         empty.name = end_bone.name + "Org"
365         empty.empty_draw_size = 0.1
366         #empty.parent = enduser_obj
367     empty = bpy.data.objects[end_bone.name + "Org"]
368     return empty
369
370
371 #create the specified NLA setup for base animation, constraints and tweak layer.
372 def NLASystemInitialize(enduser_obj, s_frame):
373     anim_data = enduser_obj.animation_data
374     mocapAction = anim_data.action
375     mocapAction.name = "Base Mocap"
376     anim_data.use_nla = True
377     mocapTrack = anim_data.nla_tracks.new()
378     mocapTrack.name = "Base Mocap Track"
379     mocapStrip = mocapTrack.strips.new("Base Mocap", s_frame, mocapAction)
380     constraintTrack = anim_data.nla_tracks.new()
381     constraintTrack.name = "Mocap constraints"
382     constraintAction = bpy.data.actions.new("Mocap constraints")
383     constraintStrip = constraintTrack.strips.new("Mocap constraints", s_frame, constraintAction)
384     constraintStrip.extrapolation = "NOTHING"
385     anim_data.nla_tracks.active = constraintTrack
386     anim_data.action = constraintAction
387     anim_data.action_extrapolation = "NOTHING"
388
389
390 #Main function that runs the retargeting sequence.
391 def totalRetarget(performer_obj, enduser_obj, scene, s_frame, e_frame):
392     perf_arm = performer_obj.data
393     end_arm = enduser_obj.data
394     print("creating Dictionary")
395     feetBones, root = createDictionary(perf_arm, end_arm)
396     print("cleaning stuff up")
397     perf_obj_mat, enduser_obj_mat = cleanAndStoreObjMat(performer_obj, enduser_obj)
398     turnOffIK(enduser_obj)
399     print("creating intermediate armature")
400     inter_obj = createIntermediate(performer_obj, enduser_obj, root, s_frame, e_frame, scene)
401     print("retargeting from intermediate to end user")
402     retargetEnduser(inter_obj, enduser_obj, root, s_frame, e_frame, scene)
403     print("retargeting root translation and clean up")
404     stride_bone = copyTranslation(performer_obj, enduser_obj, feetBones, root, s_frame, e_frame, scene, enduser_obj_mat)
405     IKRetarget(performer_obj, enduser_obj, s_frame, e_frame, scene)
406     restoreObjMat(performer_obj, enduser_obj, perf_obj_mat, enduser_obj_mat, stride_bone)
407     bpy.ops.object.mode_set(mode='OBJECT')
408     bpy.ops.object.select_name(name=inter_obj.name, extend=False)
409     bpy.ops.object.delete()
410     NLASystemInitialize(enduser_obj, s_frame)
411     print("retargeting done!")
412
413
414 if __name__ == "__main__":
415     totalRetarget()