Bugfix: Retargeting now works when user rig bones are not connected to their parents.
[blender.git] / release / scripts / modules / retarget.py
1 # ##### BEGIN GPL LICENSE BLOCK #####
2 #
3 #  This program is free software; you can redistribute it and/or
4 #  modify it under the terms of the GNU General Public License
5 #  as published by the Free Software Foundation; either version 2
6 #  of the License, or (at your option) any later version.
7 #
8 #  This program is distributed in the hope that it will be useful,
9 #  but WITHOUT ANY WARRANTY; without even the implied warranty of
10 #  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11 #  GNU General Public License for more details.
12 #
13 #  You should have received a copy of the GNU General Public License
14 #  along with this program; if not, write to the Free Software Foundation,
15 #  Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
16 #
17 # ##### END GPL LICENSE BLOCK #####
18
19 # <pep8 compliant>
20
21 import bpy
22 from mathutils import *
23 from math import radians, acos
24
25
26 def hasIKConstraint(pose_bone):
27     #utility function / predicate, returns True if given bone has IK constraint
28     ik = [constraint for constraint in pose_bone.constraints if constraint.type == "IK"]
29     if ik:
30         return ik[0]
31     else:
32         return False
33
34
35 def createDictionary(perf_arm, end_arm):
36     # clear any old data
37     for end_bone in end_arm.bones:
38         for mapping in end_bone.reverseMap:
39             end_bone.reverseMap.remove(0)
40
41     for perf_bone in perf_arm.bones:
42         #find its match and add perf_bone to the match's mapping
43         if perf_bone.map:
44             end_bone = end_arm.bones[perf_bone.map]
45             newMap = end_bone.reverseMap.add()
46             newMap.name = perf_bone.name
47
48     #root is the root of the enduser
49     root = end_arm.bones[0].name
50     feetBones = [bone.name for bone in perf_arm.bones if bone.foot]
51     return feetBones, root
52
53
54 def loadMapping(perf_arm, end_arm):
55
56     for end_bone in end_arm.bones:
57         #find its match and add perf_bone to the match's mapping
58         if end_bone.reverseMap:
59             for perf_bone in end_bone.reverseMap:
60                 perf_arm.bones[perf_bone.name].map = end_bone.name
61
62 #creation of intermediate armature
63 # the intermediate armature has the hiearchy of the end user,
64 # does not have rotation inheritence
65 # and bone roll is identical to the performer
66 # its purpose is to copy over the rotations
67 # easily while concentrating on the hierarchy changes
68
69
70 def createIntermediate(performer_obj, enduser_obj, root, s_frame, e_frame, scene):
71     #creates and keyframes an empty with its location
72     #the original position of the tail bone
73     #useful for storing the important data in the original motion
74     #i.e. using this empty to IK the chain to that pos / DEBUG
75
76     #Simple 1to1 retarget of a bone
77     def singleBoneRetarget(inter_bone, perf_bone):
78             perf_world_rotation = perf_bone.matrix * performer_obj.matrix_world
79             inter_world_base_rotation = inter_bone.bone.matrix_local * inter_obj.matrix_world
80             inter_world_base_inv = Matrix(inter_world_base_rotation)
81             inter_world_base_inv.invert()
82             return (inter_world_base_inv.to_3x3() * perf_world_rotation.to_3x3()).to_4x4()
83
84     #uses 1to1 and interpolation/averaging to match many to 1 retarget
85     def manyPerfToSingleInterRetarget(inter_bone, performer_bones_s):
86         retarget_matrices = [singleBoneRetarget(inter_bone, perf_bone) for perf_bone in performer_bones_s]
87         lerp_matrix = Matrix()
88         for i in range(len(retarget_matrices) - 1):
89             first_mat = retarget_matrices[i]
90             next_mat = retarget_matrices[i + 1]
91             lerp_matrix = first_mat.lerp(next_mat, 0.5)
92         return lerp_matrix
93
94     #determines the type of hierachy change needed and calls the
95     #right function
96     def retargetPerfToInter(inter_bone):
97         if inter_bone.bone.reverseMap:
98             perf_bone_name = inter_bone.bone.reverseMap
99                 # 1 to many not supported yet
100                 # then its either a many to 1 or 1 to 1
101             if len(perf_bone_name) > 1:
102                 performer_bones_s = [performer_bones[map.name] for map in perf_bone_name]
103                 #we need to map several performance bone to a single
104                 inter_bone.matrix_basis = manyPerfToSingleInterRetarget(inter_bone, performer_bones_s)
105             else:
106                 perf_bone = performer_bones[perf_bone_name[0].name]
107                 inter_bone.matrix_basis = singleBoneRetarget(inter_bone, perf_bone)
108
109         inter_bone.keyframe_insert("rotation_quaternion")
110         for child in inter_bone.children:
111             retargetPerfToInter(child)
112
113     #creates the intermediate armature object
114     inter_obj = enduser_obj.copy()
115     inter_obj.data = inter_obj.data.copy()  # duplicate data
116     bpy.context.scene.objects.link(inter_obj)
117     inter_obj.name = "intermediate"
118     bpy.context.scene.objects.active = inter_obj
119     bpy.ops.object.mode_set(mode='EDIT')
120     #add some temporary connecting bones in case end user bones are not connected to their parents
121     for bone in inter_obj.data.edit_bones:
122         if not bone.use_connect and bone.parent:
123             newBone = inter_obj.data.edit_bones.new("Temp")
124             newBone.head = bone.parent.head
125             newBone.tail = bone.head
126             newBone.parent = bone.parent
127             bone.parent = newBone
128     #resets roll
129     bpy.ops.armature.calculate_roll(type='Z')
130     bpy.ops.object.mode_set(mode="OBJECT")
131     inter_obj.data.name = "inter_arm"
132     inter_arm = inter_obj.data
133     performer_bones = performer_obj.pose.bones
134     inter_bones = inter_obj.pose.bones
135     #clears inheritance
136     for inter_bone in inter_bones:
137         inter_bone.bone.use_inherit_rotation = False
138
139     for t in range(s_frame, e_frame):
140         scene.frame_set(t)
141         inter_bone = inter_bones[root]
142         retargetPerfToInter(inter_bone)
143
144     return inter_obj
145
146 # this procedure copies the rotations over from the intermediate
147 # armature to the end user one.
148 # As the hierarchies are 1 to 1, this is a simple matter of
149 # copying the rotation, while keeping in mind bone roll, parenting, etc.
150 # TODO: Control Bones: If a certain bone is constrained in a way
151 #       that its rotation is determined by another (a control bone)
152 #       We should determine the right pos of the control bone.
153 #       Scale: ? Should work but needs testing.
154
155
156 def retargetEnduser(inter_obj, enduser_obj, root, s_frame, e_frame, scene):
157     inter_bones = inter_obj.pose.bones
158     end_bones = enduser_obj.pose.bones
159
160     def bakeTransform(end_bone):
161         src_bone = inter_bones[end_bone.name]
162         trg_bone = end_bone
163         bake_matrix = src_bone.matrix
164         rest_matrix = trg_bone.bone.matrix_local
165
166         if trg_bone.parent and trg_bone.bone.use_inherit_rotation:
167             srcParent = src_bone.parent
168             if not trg_bone.bone.use_connect:
169                 srcParent = srcParent.parent
170             parent_mat = srcParent.matrix
171             parent_rest = trg_bone.parent.bone.matrix_local
172             parent_rest_inv = parent_rest.copy()
173             parent_rest_inv.invert()
174             parent_mat_inv = parent_mat.copy()
175             parent_mat_inv.invert()
176             bake_matrix = parent_mat_inv * bake_matrix
177             rest_matrix = parent_rest_inv * rest_matrix
178
179         rest_matrix_inv = rest_matrix.copy()
180         rest_matrix_inv.invert()
181         bake_matrix = rest_matrix_inv * bake_matrix
182         end_bone.matrix_basis = bake_matrix
183         rot_mode = end_bone.rotation_mode
184         if rot_mode == "QUATERNION":
185             end_bone.keyframe_insert("rotation_quaternion")
186         elif rot_mode == "AXIS_ANGLE":
187             end_bone.keyframe_insert("rotation_axis_angle")
188         else:
189             end_bone.keyframe_insert("rotation_euler")
190
191         for bone in end_bone.children:
192             bakeTransform(bone)
193
194     for t in range(s_frame, e_frame):
195         scene.frame_set(t)
196         end_bone = end_bones[root]
197         end_bone.location = Vector((0, 0, 0))
198         end_bone.keyframe_insert("location")
199         bakeTransform(end_bone)
200
201 #recieves the performer feet bones as a variable
202 # by "feet" I mean those bones that have plants
203 # (they don't move, despite root moving) somewhere in the animation.
204
205
206 def copyTranslation(performer_obj, enduser_obj, perfFeet, root, s_frame, e_frame, scene, enduser_obj_mat):
207
208     perf_bones = performer_obj.pose.bones
209     end_bones = enduser_obj.pose.bones
210
211     perfRoot = end_bones[root].bone.reverseMap[0].name
212     endFeet = [perf_bones[perfBone].bone.map for perfBone in perfFeet]
213     locDictKeys = perfFeet + endFeet + [perfRoot]
214
215     def tailLoc(bone):
216         return bone.center + (bone.vector / 2)
217
218     #Step 1 - we create a dict that contains these keys:
219     #(Performer) Hips, Feet
220     #(End user) Feet
221     # where the values are their world position on each frame in range (s,e)
222
223     locDict = {}
224     for key in locDictKeys:
225         locDict[key] = []
226
227     for t in range(scene.frame_start, scene.frame_end):
228         scene.frame_set(t)
229         for bone in perfFeet:
230             locDict[bone].append(tailLoc(perf_bones[bone]))
231         locDict[perfRoot].append(tailLoc(perf_bones[perfRoot]))
232         for bone in endFeet:
233             locDict[bone].append(tailLoc(end_bones[bone]))
234
235     # now we take our locDict and analyze it.
236     # we need to derive all chains
237
238     locDeriv = {}
239     for key in locDictKeys:
240         locDeriv[key] = []
241
242     for key in locDict.keys():
243         graph = locDict[key]
244         locDeriv[key] = [graph[t + 1] - graph[t] for t in range(len(graph) - 1)]
245
246     # now find the plant frames, where perfFeet don't move much
247
248     linearAvg = []
249
250     for key in perfFeet:
251         for i in range(len(locDeriv[key]) - 1):
252             v = locDeriv[key][i]
253             hipV = locDeriv[perfRoot][i]
254             endV = locDeriv[perf_bones[key].bone.map][i]
255             if (v.length < 0.1):
256                 #this is a plant frame.
257                 #lets see what the original hip delta is, and the corresponding
258                 #end bone's delta
259                 if endV.length != 0:
260                     linearAvg.append(hipV.length / endV.length)
261
262     bpy.ops.object.add()
263     stride_bone = bpy.context.active_object
264     stride_bone.name = "stride_bone"
265
266     if linearAvg:
267         #determine the average change in scale needed
268         avg = sum(linearAvg) / len(linearAvg)
269         scene.frame_set(s_frame)
270         initialPos = (tailLoc(perf_bones[perfRoot]) / avg)
271         for t in range(s_frame, e_frame):
272             scene.frame_set(t)
273             #calculate the new position, by dividing by the found ratio between performer and enduser
274             newTranslation = (tailLoc(perf_bones[perfRoot]) / avg)
275             stride_bone.location = (newTranslation - initialPos) * enduser_obj_mat
276             stride_bone.keyframe_insert("location")
277     return stride_bone
278
279
280 def IKRetarget(performer_obj, enduser_obj, s_frame, e_frame, scene):
281     end_bones = enduser_obj.pose.bones
282     for pose_bone in end_bones:
283         ik_constraint = hasIKConstraint(pose_bone)
284         if ik_constraint:
285             target_is_bone = False
286             # set constraint target to corresponding empty if targetless,
287             # if not, keyframe current target to corresponding empty
288             perf_bone = pose_bone.bone.reverseMap[-1].name
289             orgLocTrg = originalLocationTarget(pose_bone)
290             if not ik_constraint.target:
291                 ik_constraint.target = orgLocTrg
292                 target = orgLocTrg
293
294             # There is a target now
295             if ik_constraint.subtarget:
296                 target = ik_constraint.target.pose.bones[ik_constraint.subtarget]
297                 target.bone.use_local_location = False
298                 target_is_bone = True
299             else:
300                 target = ik_constraint.target
301
302             # bake the correct locations for the ik target bones
303             for t in range(s_frame, e_frame):
304                 scene.frame_set(t)
305                 if target_is_bone:
306                     final_loc = pose_bone.tail - target.bone.matrix_local.to_translation()
307                 else:
308                     final_loc = pose_bone.tail
309                 target.location = final_loc
310                 target.keyframe_insert("location")
311             ik_constraint.mute = False
312
313
314 def turnOffIK(enduser_obj):
315     end_bones = enduser_obj.pose.bones
316     for pose_bone in end_bones:
317         if pose_bone.is_in_ik_chain:
318             pass
319             # TODO:
320             # set stiffness according to place on chain
321             # and values from analysis that is stored in the bone
322             #pose_bone.ik_stiffness_x = 0.5
323             #pose_bone.ik_stiffness_y = 0.5
324             #pose_bone.ik_stiffness_z = 0.5
325         ik_constraint = hasIKConstraint(pose_bone)
326         if ik_constraint:
327             ik_constraint.mute = True
328
329
330 #copy the object matrixes and clear them (to be reinserted later)
331 def cleanAndStoreObjMat(performer_obj, enduser_obj):
332     perf_obj_mat = performer_obj.matrix_world.copy()
333     enduser_obj_mat = enduser_obj.matrix_world.copy()
334     zero_mat = Matrix()
335     performer_obj.matrix_world = zero_mat
336     enduser_obj.matrix_world = zero_mat
337     return perf_obj_mat, enduser_obj_mat
338
339
340 #restore the object matrixes after parenting the auto generated IK empties
341 def restoreObjMat(performer_obj, enduser_obj, perf_obj_mat, enduser_obj_mat, stride_bone):
342     pose_bones = enduser_obj.pose.bones
343     for pose_bone in pose_bones:
344         if pose_bone.name + "Org" in bpy.data.objects:
345             empty = bpy.data.objects[pose_bone.name + "Org"]
346             empty.parent = stride_bone
347     performer_obj.matrix_world = perf_obj_mat
348     enduser_obj.matrix_world = enduser_obj_mat
349     enduser_obj.parent = stride_bone
350
351
352 #create (or return if exists) the related IK empty to the bone
353 def originalLocationTarget(end_bone):
354     if not end_bone.name + "Org" in bpy.data.objects:
355         bpy.ops.object.add()
356         empty = bpy.context.active_object
357         empty.name = end_bone.name + "Org"
358         empty.empty_draw_size = 0.1
359         #empty.parent = enduser_obj
360     empty = bpy.data.objects[end_bone.name + "Org"]
361     return empty
362
363
364 #create the specified NLA setup for base animation, constraints and tweak layer.
365 def NLASystemInitialize(enduser_obj, s_frame):
366     anim_data = enduser_obj.animation_data
367     mocapAction = anim_data.action
368     mocapAction.name = "Base Mocap"
369     anim_data.use_nla = True
370     mocapTrack = anim_data.nla_tracks.new()
371     mocapTrack.name = "Base Mocap Track"
372     mocapStrip = mocapTrack.strips.new("Base Mocap", s_frame, mocapAction)
373     constraintTrack = anim_data.nla_tracks.new()
374     constraintTrack.name = "Mocap constraints"
375     constraintAction = bpy.data.actions.new("Mocap constraints")
376     constraintStrip = constraintTrack.strips.new("Mocap constraints", s_frame, constraintAction)
377     constraintStrip.extrapolation = "NOTHING"
378     anim_data.nla_tracks.active = constraintTrack
379     anim_data.action = constraintAction
380     anim_data.action_extrapolation = "NOTHING"
381
382
383 #Main function that runs the retargeting sequence.
384 def totalRetarget(performer_obj, enduser_obj, scene, s_frame, e_frame):
385     perf_arm = performer_obj.data
386     end_arm = enduser_obj.data
387     feetBones, root = createDictionary(perf_arm, end_arm)
388     perf_obj_mat, enduser_obj_mat = cleanAndStoreObjMat(performer_obj, enduser_obj)
389     turnOffIK(enduser_obj)
390     inter_obj = createIntermediate(performer_obj, enduser_obj, root, s_frame, e_frame, scene)
391     retargetEnduser(inter_obj, enduser_obj, root, s_frame, e_frame, scene)
392     stride_bone = copyTranslation(performer_obj, enduser_obj, feetBones, root, s_frame, e_frame, scene, enduser_obj_mat)
393     IKRetarget(performer_obj, enduser_obj, s_frame, e_frame, scene)
394     restoreObjMat(performer_obj, enduser_obj, perf_obj_mat, enduser_obj_mat, stride_bone)
395     bpy.ops.object.mode_set(mode='OBJECT')
396     bpy.ops.object.select_name(name=inter_obj.name, extend=False)
397     bpy.ops.object.delete()
398     NLASystemInitialize(enduser_obj, s_frame)
399
400
401 if __name__ == "__main__":
402     totalRetarget()