Bugfixing for retargeting - unconnected bones now retarget alot better. Also some...
[blender.git] / release / scripts / modules / retarget.py
1 # ##### BEGIN GPL LICENSE BLOCK #####
2 #
3 #  This program is free software; you can redistribute it and/or
4 #  modify it under the terms of the GNU General Public License
5 #  as published by the Free Software Foundation; either version 2
6 #  of the License, or (at your option) any later version.
7 #
8 #  This program is distributed in the hope that it will be useful,
9 #  but WITHOUT ANY WARRANTY; without even the implied warranty of
10 #  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11 #  GNU General Public License for more details.
12 #
13 #  You should have received a copy of the GNU General Public License
14 #  along with this program; if not, write to the Free Software Foundation,
15 #  Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
16 #
17 # ##### END GPL LICENSE BLOCK #####
18
19 # <pep8 compliant>
20
21 import bpy
22 from mathutils import *
23 from math import radians, acos
24
25
26 def hasIKConstraint(pose_bone):
27     #utility function / predicate, returns True if given bone has IK constraint
28     ik = [constraint for constraint in pose_bone.constraints if constraint.type == "IK"]
29     if ik:
30         return ik[0]
31     else:
32         return False
33
34
35 def createDictionary(perf_arm, end_arm):
36     # clear any old data
37     for end_bone in end_arm.bones:
38         for mapping in end_bone.reverseMap:
39             end_bone.reverseMap.remove(0)
40
41     for perf_bone in perf_arm.bones:
42         #find its match and add perf_bone to the match's mapping
43         if perf_bone.map:
44             end_bone = end_arm.bones[perf_bone.map]
45             newMap = end_bone.reverseMap.add()
46             newMap.name = perf_bone.name
47
48     #root is the root of the enduser
49     root = end_arm.bones[0].name
50     feetBones = [bone.name for bone in perf_arm.bones if bone.foot]
51     return feetBones, root
52
53
54 def loadMapping(perf_arm, end_arm):
55
56     for end_bone in end_arm.bones:
57         #find its match and add perf_bone to the match's mapping
58         if end_bone.reverseMap:
59             for perf_bone in end_bone.reverseMap:
60                 perf_arm.bones[perf_bone.name].map = end_bone.name
61
62 #creation of intermediate armature
63 # the intermediate armature has the hiearchy of the end user,
64 # does not have rotation inheritence
65 # and bone roll is identical to the performer
66 # its purpose is to copy over the rotations
67 # easily while concentrating on the hierarchy changes
68
69
70 def createIntermediate(performer_obj, enduser_obj, root, s_frame, e_frame, scene):
71     #creates and keyframes an empty with its location
72     #the original position of the tail bone
73     #useful for storing the important data in the original motion
74     #i.e. using this empty to IK the chain to that pos / DEBUG
75
76     #Simple 1to1 retarget of a bone
77     def singleBoneRetarget(inter_bone, perf_bone):
78             perf_world_rotation = perf_bone.matrix * performer_obj.matrix_world
79             inter_world_base_rotation = inter_bone.bone.matrix_local * inter_obj.matrix_world
80             inter_world_base_inv = Matrix(inter_world_base_rotation)
81             inter_world_base_inv.invert()
82             return (inter_world_base_inv.to_3x3() * perf_world_rotation.to_3x3()).to_4x4()
83
84     #uses 1to1 and interpolation/averaging to match many to 1 retarget
85     def manyPerfToSingleInterRetarget(inter_bone, performer_bones_s):
86         retarget_matrices = [singleBoneRetarget(inter_bone, perf_bone) for perf_bone in performer_bones_s]
87         lerp_matrix = Matrix()
88         for i in range(len(retarget_matrices) - 1):
89             first_mat = retarget_matrices[i]
90             next_mat = retarget_matrices[i + 1]
91             lerp_matrix = first_mat.lerp(next_mat, 0.5)
92         return lerp_matrix
93
94     #determines the type of hierachy change needed and calls the
95     #right function
96     def retargetPerfToInter(inter_bone):
97         if inter_bone.bone.reverseMap:
98             perf_bone_name = inter_bone.bone.reverseMap
99                 # 1 to many not supported yet
100                 # then its either a many to 1 or 1 to 1
101             if len(perf_bone_name) > 1:
102                 performer_bones_s = [performer_bones[map.name] for map in perf_bone_name]
103                 #we need to map several performance bone to a single
104                 inter_bone.matrix_basis = manyPerfToSingleInterRetarget(inter_bone, performer_bones_s)
105             else:
106                 perf_bone = performer_bones[perf_bone_name[0].name]
107                 inter_bone.matrix_basis = singleBoneRetarget(inter_bone, perf_bone)
108         elif inter_bone.parent:
109             if "Temp" in inter_bone.parent.name:
110                 inter_bone.parent.bone.use_inherit_rotation = True
111                 inter_bone.bone.use_inherit_rotation = True
112         else:
113             inter_bone.bone.use_inherit_rotation = True
114         inter_bone.keyframe_insert("rotation_quaternion")
115         for child in inter_bone.children:
116             retargetPerfToInter(child)
117
118     #creates the intermediate armature object
119     inter_obj = enduser_obj.copy()
120     inter_obj.data = inter_obj.data.copy()  # duplicate data
121     bpy.context.scene.objects.link(inter_obj)
122     inter_obj.name = "intermediate"
123     bpy.context.scene.objects.active = inter_obj
124     bpy.ops.object.mode_set(mode='EDIT')
125     #add some temporary connecting bones in case end user bones are not connected to their parents
126     for bone in inter_obj.data.edit_bones:
127         if not bone.use_connect and bone.parent and  inter_obj.data.bones[bone.name].reverseMap:
128             newBone = inter_obj.data.edit_bones.new("Temp")
129             newBone.head = bone.parent.tail
130             newBone.tail = bone.head
131             newBone.parent = bone.parent
132             bone.parent = newBone
133             bone.use_connect = True
134             newBone.use_connect = True
135     #resets roll
136     bpy.ops.armature.calculate_roll(type='Z')
137     bpy.ops.object.mode_set(mode="OBJECT")
138     inter_obj.data.name = "inter_arm"
139     inter_arm = inter_obj.data
140     performer_bones = performer_obj.pose.bones
141     inter_bones = inter_obj.pose.bones
142     #clears inheritance
143     for inter_bone in inter_bones:
144         inter_bone.bone.use_inherit_rotation = False
145
146     for t in range(s_frame, e_frame):
147         scene.frame_set(t)
148         inter_bone = inter_bones[root]
149         retargetPerfToInter(inter_bone)
150
151     return inter_obj
152
153 # this procedure copies the rotations over from the intermediate
154 # armature to the end user one.
155 # As the hierarchies are 1 to 1, this is a simple matter of
156 # copying the rotation, while keeping in mind bone roll, parenting, etc.
157 # TODO: Control Bones: If a certain bone is constrained in a way
158 #       that its rotation is determined by another (a control bone)
159 #       We should determine the right pos of the control bone.
160 #       Scale: ? Should work but needs testing.
161
162
163 def retargetEnduser(inter_obj, enduser_obj, root, s_frame, e_frame, scene):
164     inter_bones = inter_obj.pose.bones
165     end_bones = enduser_obj.pose.bones
166
167     def bakeTransform(end_bone):
168         src_bone = inter_bones[end_bone.name]
169         trg_bone = end_bone
170         bake_matrix = src_bone.matrix
171         rest_matrix = trg_bone.bone.matrix_local
172
173         if trg_bone.parent and trg_bone.bone.use_inherit_rotation:
174             srcParent = src_bone.parent
175             if "Temp" in srcParent.name:
176                 srcParent = srcParent.parent
177             parent_mat = srcParent.matrix
178             parent_rest = trg_bone.parent.bone.matrix_local
179             parent_rest_inv = parent_rest.copy()
180             parent_rest_inv.invert()
181             parent_mat_inv = parent_mat.copy()
182             parent_mat_inv.invert()
183             bake_matrix = parent_mat_inv * bake_matrix
184             rest_matrix = parent_rest_inv * rest_matrix
185
186         rest_matrix_inv = rest_matrix.copy()
187         rest_matrix_inv.invert()
188         bake_matrix = rest_matrix_inv * bake_matrix
189         end_bone.matrix_basis = bake_matrix
190         rot_mode = end_bone.rotation_mode
191         if rot_mode == "QUATERNION":
192             end_bone.keyframe_insert("rotation_quaternion")
193         elif rot_mode == "AXIS_ANGLE":
194             end_bone.keyframe_insert("rotation_axis_angle")
195         else:
196             end_bone.keyframe_insert("rotation_euler")
197         if not end_bone.bone.use_connect:
198             end_bone.keyframe_insert("location")
199
200         for bone in end_bone.children:
201             bakeTransform(bone)
202
203     for t in range(s_frame, e_frame):
204         scene.frame_set(t)
205         end_bone = end_bones[root]
206         end_bone.location = Vector((0, 0, 0))
207         end_bone.keyframe_insert("location")
208         bakeTransform(end_bone)
209
210 #recieves the performer feet bones as a variable
211 # by "feet" I mean those bones that have plants
212 # (they don't move, despite root moving) somewhere in the animation.
213
214
215 def copyTranslation(performer_obj, enduser_obj, perfFeet, root, s_frame, e_frame, scene, enduser_obj_mat):
216
217     perf_bones = performer_obj.pose.bones
218     end_bones = enduser_obj.pose.bones
219
220     perfRoot = end_bones[root].bone.reverseMap[0].name
221     endFeet = [perf_bones[perfBone].bone.map for perfBone in perfFeet]
222     locDictKeys = perfFeet + endFeet + [perfRoot]
223
224     def tailLoc(bone):
225         return bone.center + (bone.vector / 2)
226
227     #Step 1 - we create a dict that contains these keys:
228     #(Performer) Hips, Feet
229     #(End user) Feet
230     # where the values are their world position on each frame in range (s,e)
231
232     locDict = {}
233     for key in locDictKeys:
234         locDict[key] = []
235
236     for t in range(scene.frame_start, scene.frame_end):
237         scene.frame_set(t)
238         for bone in perfFeet:
239             locDict[bone].append(tailLoc(perf_bones[bone]))
240         locDict[perfRoot].append(tailLoc(perf_bones[perfRoot]))
241         for bone in endFeet:
242             locDict[bone].append(tailLoc(end_bones[bone]))
243
244     # now we take our locDict and analyze it.
245     # we need to derive all chains
246
247     locDeriv = {}
248     for key in locDictKeys:
249         locDeriv[key] = []
250
251     for key in locDict.keys():
252         graph = locDict[key]
253         locDeriv[key] = [graph[t + 1] - graph[t] for t in range(len(graph) - 1)]
254
255     # now find the plant frames, where perfFeet don't move much
256
257     linearAvg = []
258
259     for key in perfFeet:
260         for i in range(len(locDeriv[key]) - 1):
261             v = locDeriv[key][i]
262             hipV = locDeriv[perfRoot][i]
263             endV = locDeriv[perf_bones[key].bone.map][i]
264             if (v.length < 0.1):
265                 #this is a plant frame.
266                 #lets see what the original hip delta is, and the corresponding
267                 #end bone's delta
268                 if endV.length != 0:
269                     linearAvg.append(hipV.length / endV.length)
270
271     bpy.ops.object.add()
272     stride_bone = bpy.context.active_object
273     stride_bone.name = "stride_bone"
274
275     if linearAvg:
276         #determine the average change in scale needed
277         avg = sum(linearAvg) / len(linearAvg)
278         scene.frame_set(s_frame)
279         initialPos = (tailLoc(perf_bones[perfRoot]) / avg)
280         for t in range(s_frame, e_frame):
281             scene.frame_set(t)
282             #calculate the new position, by dividing by the found ratio between performer and enduser
283             newTranslation = (tailLoc(perf_bones[perfRoot]) / avg)
284             stride_bone.location = (newTranslation - initialPos) * enduser_obj_mat
285             stride_bone.keyframe_insert("location")
286     return stride_bone
287
288
289 def IKRetarget(performer_obj, enduser_obj, s_frame, e_frame, scene):
290     end_bones = enduser_obj.pose.bones
291     for pose_bone in end_bones:
292         ik_constraint = hasIKConstraint(pose_bone)
293         if ik_constraint:
294             target_is_bone = False
295             # set constraint target to corresponding empty if targetless,
296             # if not, keyframe current target to corresponding empty
297             perf_bone = pose_bone.bone.reverseMap[-1].name
298             orgLocTrg = originalLocationTarget(pose_bone)
299             if not ik_constraint.target:
300                 ik_constraint.target = orgLocTrg
301                 target = orgLocTrg
302
303             # There is a target now
304             if ik_constraint.subtarget:
305                 target = ik_constraint.target.pose.bones[ik_constraint.subtarget]
306                 target.bone.use_local_location = False
307                 target_is_bone = True
308             else:
309                 target = ik_constraint.target
310
311             # bake the correct locations for the ik target bones
312             for t in range(s_frame, e_frame):
313                 scene.frame_set(t)
314                 if target_is_bone:
315                     final_loc = pose_bone.tail - target.bone.matrix_local.to_translation()
316                 else:
317                     final_loc = pose_bone.tail
318                 target.location = final_loc
319                 target.keyframe_insert("location")
320             ik_constraint.mute = False
321
322
323 def turnOffIK(enduser_obj):
324     end_bones = enduser_obj.pose.bones
325     for pose_bone in end_bones:
326         if pose_bone.is_in_ik_chain:
327             pass
328             # TODO:
329             # set stiffness according to place on chain
330             # and values from analysis that is stored in the bone
331             #pose_bone.ik_stiffness_x = 0.5
332             #pose_bone.ik_stiffness_y = 0.5
333             #pose_bone.ik_stiffness_z = 0.5
334         ik_constraint = hasIKConstraint(pose_bone)
335         if ik_constraint:
336             ik_constraint.mute = True
337
338
339 #copy the object matrixes and clear them (to be reinserted later)
340 def cleanAndStoreObjMat(performer_obj, enduser_obj):
341     perf_obj_mat = performer_obj.matrix_world.copy()
342     enduser_obj_mat = enduser_obj.matrix_world.copy()
343     zero_mat = Matrix()
344     performer_obj.matrix_world = zero_mat
345     enduser_obj.matrix_world = zero_mat
346     return perf_obj_mat, enduser_obj_mat
347
348
349 #restore the object matrixes after parenting the auto generated IK empties
350 def restoreObjMat(performer_obj, enduser_obj, perf_obj_mat, enduser_obj_mat, stride_bone):
351     pose_bones = enduser_obj.pose.bones
352     for pose_bone in pose_bones:
353         if pose_bone.name + "Org" in bpy.data.objects:
354             empty = bpy.data.objects[pose_bone.name + "Org"]
355             empty.parent = stride_bone
356     performer_obj.matrix_world = perf_obj_mat
357     enduser_obj.matrix_world = enduser_obj_mat
358     enduser_obj.parent = stride_bone
359
360
361 #create (or return if exists) the related IK empty to the bone
362 def originalLocationTarget(end_bone):
363     if not end_bone.name + "Org" in bpy.data.objects:
364         bpy.ops.object.add()
365         empty = bpy.context.active_object
366         empty.name = end_bone.name + "Org"
367         empty.empty_draw_size = 0.1
368         #empty.parent = enduser_obj
369     empty = bpy.data.objects[end_bone.name + "Org"]
370     return empty
371
372
373 #create the specified NLA setup for base animation, constraints and tweak layer.
374 def NLASystemInitialize(enduser_obj, s_frame):
375     anim_data = enduser_obj.animation_data
376     mocapAction = anim_data.action
377     mocapAction.name = "Base Mocap"
378     anim_data.use_nla = True
379     mocapTrack = anim_data.nla_tracks.new()
380     mocapTrack.name = "Base Mocap Track"
381     mocapStrip = mocapTrack.strips.new("Base Mocap", s_frame, mocapAction)
382     constraintTrack = anim_data.nla_tracks.new()
383     constraintTrack.name = "Mocap constraints"
384     constraintAction = bpy.data.actions.new("Mocap constraints")
385     constraintStrip = constraintTrack.strips.new("Mocap constraints", s_frame, constraintAction)
386     constraintStrip.extrapolation = "NOTHING"
387     anim_data.nla_tracks.active = constraintTrack
388     anim_data.action = constraintAction
389     anim_data.action_extrapolation = "NOTHING"
390
391
392 #Main function that runs the retargeting sequence.
393 def totalRetarget(performer_obj, enduser_obj, scene, s_frame, e_frame):
394     perf_arm = performer_obj.data
395     end_arm = enduser_obj.data
396     print("creating Dictionary")
397     feetBones, root = createDictionary(perf_arm, end_arm)
398     print("cleaning stuff up")
399     perf_obj_mat, enduser_obj_mat = cleanAndStoreObjMat(performer_obj, enduser_obj)
400     turnOffIK(enduser_obj)
401     print("creating intermediate armature")
402     inter_obj = createIntermediate(performer_obj, enduser_obj, root, s_frame, e_frame, scene)
403     print("retargeting from intermediate to end user")
404     retargetEnduser(inter_obj, enduser_obj, root, s_frame, e_frame, scene)
405     print("retargeting root translation and clean up")
406     stride_bone = copyTranslation(performer_obj, enduser_obj, feetBones, root, s_frame, e_frame, scene, enduser_obj_mat)
407     IKRetarget(performer_obj, enduser_obj, s_frame, e_frame, scene)
408     restoreObjMat(performer_obj, enduser_obj, perf_obj_mat, enduser_obj_mat, stride_bone)
409     bpy.ops.object.mode_set(mode='OBJECT')
410     bpy.ops.object.select_name(name=inter_obj.name, extend=False)
411     bpy.ops.object.delete()
412     NLASystemInitialize(enduser_obj, s_frame)
413     print("retargeting done!")
414
415
416 if __name__ == "__main__":
417     totalRetarget()