Fix (unreported) EditNormal modifier: broken 'flip poly' feature.
[blender-staging.git] / source / blender / modifiers / intern / MOD_normal_edit.c
1 /*
2  * ***** BEGIN GPL LICENSE BLOCK *****
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License
6  * as published by the Free Software Foundation; either version 2
7  * of the License, or (at your option) any later version.
8  *
9  * This program is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12  * GNU General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software  Foundation,
16  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
17  *
18  * Contributor(s): Bastien Montagne
19  *
20  * ***** END GPL LICENSE BLOCK *****
21  *
22  */
23
24 /** \file blender/modifiers/intern/MOD_normal_edit.c
25  *  \ingroup modifiers
26  */
27
28 #include <string.h>
29
30 #include "MEM_guardedalloc.h"
31
32 #include "DNA_object_types.h"
33 #include "DNA_meshdata_types.h"
34 #include "DNA_mesh_types.h"
35
36 #include "BLI_math.h"
37 #include "BLI_utildefines.h"
38 #include "BLI_bitmap.h"
39
40 #include "BKE_cdderivedmesh.h"
41 #include "BKE_library_query.h"
42 #include "BKE_mesh.h"
43 #include "BKE_deform.h"
44
45 #include "depsgraph_private.h"
46
47 #include "MOD_util.h"
48
49
50 static void generate_vert_coordinates(
51         DerivedMesh *dm, Object *ob, Object *ob_center, const float offset[3],
52         const int num_verts, float (*r_cos)[3], float r_size[3])
53 {
54         float min_co[3], max_co[3];
55         float diff[3];
56         bool do_diff = false;
57
58         INIT_MINMAX(min_co, max_co);
59
60         dm->getVertCos(dm, r_cos);
61
62         /* Get size (i.e. deformation of the spheroid generating normals), either from target object, or own geometry. */
63         if (ob_center) {
64                 /* Not we are not interested in signs here - they are even troublesome actually, due to security clamping! */
65                 abs_v3_v3(r_size, ob_center->size);
66         }
67         else {
68                 minmax_v3v3_v3_array(min_co, max_co, r_cos, num_verts);
69                 /* Set size. */
70                 sub_v3_v3v3(r_size, max_co, min_co);
71         }
72
73         /* Error checks - we do not want one or more of our sizes to be null! */
74         if (is_zero_v3(r_size)) {
75                 r_size[0] = r_size[1] = r_size[2] = 1.0f;
76         }
77         else {
78                 CLAMP_MIN(r_size[0], FLT_EPSILON);
79                 CLAMP_MIN(r_size[1], FLT_EPSILON);
80                 CLAMP_MIN(r_size[2], FLT_EPSILON);
81         }
82
83         if (ob_center) {
84                 float inv_obmat[4][4];
85
86                 /* Translate our coordinates so that center of ob_center is at (0, 0, 0). */
87                 /* Get ob_center (world) coordinates in ob local coordinates.
88                  * No need to take into account ob_center's space here, see T44027. */
89                 invert_m4_m4(inv_obmat, ob->obmat);
90                 mul_v3_m4v3(diff, inv_obmat, ob_center->obmat[3]);
91                 negate_v3(diff);
92
93                 do_diff = true;
94         }
95         else if (!is_zero_v3(offset)) {
96                 negate_v3_v3(diff, offset);
97
98                 do_diff = true;
99         }
100         /* Else, no need to change coordinates! */
101
102         if (do_diff) {
103                 int i = num_verts;
104                 while (i--) {
105                         add_v3_v3(r_cos[i], diff);
106                 }
107         }
108 }
109
110 /* Note this modifies nos_new in-place. */
111 static void mix_normals(
112         const float mix_factor, MDeformVert *dvert, const int defgrp_index, const bool use_invert_vgroup,
113         const float mix_limit, const short mix_mode,
114         const int num_verts, MLoop *mloop, float (*nos_old)[3], float (*nos_new)[3], const int num_loops)
115 {
116         /* Mix with org normals... */
117         float *facs = NULL, *wfac;
118         float (*no_new)[3], (*no_old)[3];
119         int i;
120
121         if (dvert) {
122                 facs = MEM_mallocN(sizeof(*facs) * (size_t)num_loops, __func__);
123                 BKE_defvert_extract_vgroup_to_loopweights(
124                             dvert, defgrp_index, num_verts, mloop, num_loops, facs, use_invert_vgroup);
125         }
126
127         for (i = num_loops, no_new = nos_new, no_old = nos_old, wfac = facs; i--; no_new++, no_old++, wfac++) {
128                 const float fac = facs ? *wfac * mix_factor : mix_factor;
129
130                 switch (mix_mode) {
131                         case MOD_NORMALEDIT_MIX_ADD:
132                                 add_v3_v3(*no_new, *no_old);
133                                 normalize_v3(*no_new);
134                                 break;
135                         case MOD_NORMALEDIT_MIX_SUB:
136                                 sub_v3_v3(*no_new, *no_old);
137                                 normalize_v3(*no_new);
138                                 break;
139                         case MOD_NORMALEDIT_MIX_MUL:
140                                 mul_v3_v3(*no_new, *no_old);
141                                 normalize_v3(*no_new);
142                                 break;
143                         case MOD_NORMALEDIT_MIX_COPY:
144                                 break;
145                 }
146
147                 interp_v3_v3v3_slerp_safe(*no_new, *no_old, *no_new,
148                                           (mix_limit < M_PI) ? min_ff(fac, mix_limit / angle_v3v3(*no_new, *no_old)) : fac);
149         }
150
151         MEM_SAFE_FREE(facs);
152 }
153
154 /* Check poly normals and new loop normals are compatible, otherwise flip polygons
155  * (and invert matching poly normals). */
156 static bool polygons_check_flip(
157         MLoop *mloop, float (*nos)[3], CustomData *ldata,
158         MPoly *mpoly, float (*polynors)[3], const int num_polys)
159 {
160         MPoly *mp;
161         MDisps *mdisp = CustomData_get_layer(ldata, CD_MDISPS);
162         int i;
163         bool flipped = false;
164
165         for (i = 0, mp = mpoly; i < num_polys; i++, mp++) {
166                 float norsum[3] = {0.0f};
167                 float (*no)[3];
168                 int j;
169
170                 for (j = 0, no = &nos[mp->loopstart]; j < mp->totloop; j++, no++) {
171                         add_v3_v3(norsum, *no);
172                 }
173
174                 if (!normalize_v3(norsum)) {
175                         continue;
176                 }
177
178                 /* If average of new loop normals is opposed to polygon normal, flip polygon. */
179                 if (dot_v3v3(polynors[i], norsum) < 0.0f) {
180                         BKE_mesh_polygon_flip_ex(mp, mloop, ldata, nos, mdisp, true);
181                         negate_v3(polynors[i]);
182                         flipped = true;
183                 }
184         }
185
186         return flipped;
187 }
188
189 static void normalEditModifier_do_radial(
190         NormalEditModifierData *smd, Object *ob, DerivedMesh *dm,
191         short (*clnors)[2], float (*loopnors)[3], float (*polynors)[3],
192         const short mix_mode, const float mix_factor, const float mix_limit,
193         MDeformVert *dvert, const int defgrp_index, const bool use_invert_vgroup,
194         MVert *mvert, const int num_verts, MEdge *medge, const int num_edges,
195         MLoop *mloop, const int num_loops, MPoly *mpoly, const int num_polys)
196 {
197         int i;
198
199         float (*cos)[3] = MEM_mallocN(sizeof(*cos) * num_verts, __func__);
200         float (*nos)[3] = MEM_mallocN(sizeof(*nos) * num_loops, __func__);
201         float size[3];
202
203         BLI_bitmap *done_verts = BLI_BITMAP_NEW((size_t)num_verts, __func__);
204
205         generate_vert_coordinates(dm, ob, smd->target, smd->offset, num_verts, cos, size);
206
207         /**
208          * size gives us our spheroid coefficients ``(A, B, C)``.
209          * Then, we want to find out for each vert its (a, b, c) triple (proportional to (A, B, C) one).
210          *
211          * Ellipsoid basic equation: ``(x^2/a^2) + (y^2/b^2) + (z^2/c^2) = 1.``
212          * Since we want to find (a, b, c) matching this equation and proportional to (A, B, C), we can do:
213          * <pre>
214          *     m = B / A
215          *     n = C / A
216          * </pre>
217          *
218          * hence:
219          * <pre>
220          *     (x^2/a^2) + (y^2/b^2) + (z^2/c^2) = 1
221          *  -> b^2*c^2*x^2 + a^2*c^2*y^2 + a^2*b^2*z^2 = a^2*b^2*c^2
222          *     b = ma
223          *     c = na
224          *  -> m^2*a^2*n^2*a^2*x^2 + a^2*n^2*a^2*y^2 + a^2*m^2*a^2*z^2 = a^2*m^2*a^2*n^2*a^2
225          *  -> m^2*n^2*a^4*x^2 + n^2*a^4*y^2 + m^2*a^4*z^2 = m^2*n^2*a^6
226          *  -> a^2 = (m^2*n^2*x^2 + n^2y^2 + m^2z^2) / (m^2*n^2) = x^2 + (y^2 / m^2) + (z^2 / n^2)
227          *  -> b^2 = (m^2*n^2*x^2 + n^2y^2 + m^2z^2) / (n^2)     = (m^2 * x^2) + y^2 + (m^2 * z^2 / n^2)
228          *  -> c^2 = (m^2*n^2*x^2 + n^2y^2 + m^2z^2) / (m^2)     = (n^2 * x^2) + (n^2 * y^2 / m^2) + z^2
229          * </pre>
230          *
231          * All we have to do now is compute normal of the spheroid at that point:
232          * <pre>
233          *     n = (x / a^2, y / b^2, z / c^2)
234          * </pre>
235          * And we are done!
236          */
237         {
238                 const float a = size[0], b = size[1], c = size[2];
239                 const float m2 = (b * b) / (a * a);
240                 const float n2 = (c * c) / (a * a);
241
242                 MLoop *ml;
243                 float (*no)[3];
244
245                 /* We reuse cos to now store the ellipsoid-normal of the verts! */
246                 for (i = num_loops, ml = mloop, no = nos; i-- ; ml++, no++) {
247                         const int vidx = ml->v;
248                         float *co = cos[vidx];
249
250                         if (!BLI_BITMAP_TEST(done_verts, vidx)) {
251                                 const float x2 = co[0] * co[0];
252                                 const float y2 = co[1] * co[1];
253                                 const float z2 = co[2] * co[2];
254                                 const float a2 = x2 + (y2 / m2) + (z2 / n2);
255                                 const float b2 = (m2 * x2) + y2 + (m2 * z2 / n2);
256                                 const float c2 = (n2 * x2) + (n2 * y2 / m2) + z2;
257
258                                 co[0] /= a2;
259                                 co[1] /= b2;
260                                 co[2] /= c2;
261                                 normalize_v3(co);
262
263                                 BLI_BITMAP_ENABLE(done_verts, vidx);
264                         }
265                         copy_v3_v3(*no, co);
266                 }
267         }
268
269         if (loopnors) {
270                 mix_normals(mix_factor, dvert, defgrp_index, use_invert_vgroup,
271                             mix_limit, mix_mode, num_verts, mloop, loopnors, nos, num_loops);
272         }
273
274         if (polygons_check_flip(mloop, nos, dm->getLoopDataLayout(dm), mpoly, polynors, num_polys)) {
275                 dm->dirty |= DM_DIRTY_TESS_CDLAYERS;
276                 /* We need to recompute vertex normals! */
277                 dm->calcNormals(dm);
278         }
279
280         BKE_mesh_normals_loop_custom_set(mvert, num_verts, medge, num_edges, mloop, nos, num_loops,
281                                          mpoly, (const float(*)[3])polynors, num_polys, clnors);
282
283         MEM_freeN(cos);
284         MEM_freeN(nos);
285         MEM_freeN(done_verts);
286 }
287
288 static void normalEditModifier_do_directional(
289         NormalEditModifierData *smd, Object *ob, DerivedMesh *dm,
290         short (*clnors)[2], float (*loopnors)[3], float (*polynors)[3],
291         const short mix_mode, const float mix_factor, const float mix_limit,
292         MDeformVert *dvert, const int defgrp_index, const bool use_invert_vgroup,
293         MVert *mvert, const int num_verts, MEdge *medge, const int num_edges,
294         MLoop *mloop, const int num_loops, MPoly *mpoly, const int num_polys)
295 {
296         const bool use_parallel_normals = (smd->flag & MOD_NORMALEDIT_USE_DIRECTION_PARALLEL) != 0;
297
298         float (*cos)[3] = MEM_mallocN(sizeof(*cos) * num_verts, __func__);
299         float (*nos)[3] = MEM_mallocN(sizeof(*nos) * num_loops, __func__);
300
301         float target_co[3];
302         int i;
303
304         dm->getVertCos(dm, cos);
305
306         /* Get target's center coordinates in ob local coordinates. */
307         {
308                 float mat[4][4];
309
310                 invert_m4_m4(mat, ob->obmat);
311                 mul_m4_m4m4(mat, mat, smd->target->obmat);
312                 copy_v3_v3(target_co, mat[3]);
313         }
314
315         if (use_parallel_normals) {
316                 float no[3];
317
318                 sub_v3_v3v3(no, target_co, smd->offset);
319                 normalize_v3(no);
320
321                 for (i = num_loops; i--; ) {
322                         copy_v3_v3(nos[i], no);
323                 }
324         }
325         else {
326                 BLI_bitmap *done_verts = BLI_BITMAP_NEW((size_t)num_verts, __func__);
327                 MLoop *ml;
328                 float (*no)[3];
329
330                 /* We reuse cos to now store the 'to target' normal of the verts! */
331                 for (i = num_loops, no = nos, ml = mloop; i--; no++, ml++) {
332                         const int vidx = ml->v;
333                         float *co = cos[vidx];
334
335                         if (!BLI_BITMAP_TEST(done_verts, vidx)) {
336                                 sub_v3_v3v3(co, target_co, co);
337                                 normalize_v3(co);
338
339                                 BLI_BITMAP_ENABLE(done_verts, vidx);
340                         }
341
342                         copy_v3_v3(*no, co);
343                 }
344
345                 MEM_freeN(done_verts);
346         }
347
348         if (loopnors) {
349                 mix_normals(mix_factor, dvert, defgrp_index, use_invert_vgroup,
350                             mix_limit, mix_mode, num_verts, mloop, loopnors, nos, num_loops);
351         }
352
353         if (polygons_check_flip(mloop, nos, dm->getLoopDataLayout(dm), mpoly, polynors, num_polys)) {
354                 dm->dirty |= DM_DIRTY_TESS_CDLAYERS;
355         }
356
357         BKE_mesh_normals_loop_custom_set(mvert, num_verts, medge, num_edges, mloop, nos, num_loops,
358                                          mpoly, (const float(*)[3])polynors, num_polys, clnors);
359
360         MEM_freeN(cos);
361         MEM_freeN(nos);
362 }
363
364 static bool is_valid_target(NormalEditModifierData *smd)
365 {
366         if (smd->mode == MOD_NORMALEDIT_MODE_RADIAL) {
367                 return true;
368         }
369         else if ((smd->mode == MOD_NORMALEDIT_MODE_DIRECTIONAL) && smd->target) {
370                 return true;
371         }
372         modifier_setError((ModifierData *)smd, "Invalid target settings");
373         return false;
374 }
375
376 static DerivedMesh *normalEditModifier_do(NormalEditModifierData *smd, Object *ob, DerivedMesh *dm)
377 {
378         Mesh *me = ob->data;
379
380         const int num_verts = dm->getNumVerts(dm);
381         const int num_edges = dm->getNumEdges(dm);
382         const int num_loops = dm->getNumLoops(dm);
383         const int num_polys = dm->getNumPolys(dm);
384         MVert *mvert;
385         MEdge *medge;
386         MLoop *mloop;
387         MPoly *mpoly;
388
389         const bool use_invert_vgroup = ((smd->flag & MOD_NORMALEDIT_INVERT_VGROUP) != 0);
390         const bool use_current_clnors = !((smd->mix_mode == MOD_NORMALEDIT_MIX_COPY) &&
391                                           (smd->mix_factor == 1.0f) &&
392                                           (smd->defgrp_name[0] == '\0') &&
393                                           (smd->mix_limit == M_PI));
394
395         int defgrp_index;
396         MDeformVert *dvert;
397
398         float (*loopnors)[3] = NULL;
399         short (*clnors)[2];
400
401         float (*polynors)[3];
402         bool free_polynors = false;
403
404         /* Do not run that modifier at all if autosmooth is disabled! */
405         if (!is_valid_target(smd) || !num_loops) {
406                 return dm;
407         }
408
409         if (!(me->flag & ME_AUTOSMOOTH)) {
410                 modifier_setError((ModifierData *)smd, "Enable 'Auto Smooth' option in mesh settings");
411                 return dm;
412         }
413
414         medge = dm->getEdgeArray(dm);
415         if (me->medge == medge) {
416                 /* We need to duplicate data here, otherwise setting custom normals (which may also affect sharp edges) could
417                  * modify org mesh, see T43671. */
418                 dm = CDDM_copy(dm);
419                 medge = dm->getEdgeArray(dm);
420         }
421         mvert = dm->getVertArray(dm);
422         mloop = dm->getLoopArray(dm);
423         mpoly = dm->getPolyArray(dm);
424
425         if (use_current_clnors) {
426                 dm->calcLoopNormals(dm, true, me->smoothresh);
427                 loopnors = dm->getLoopDataArray(dm, CD_NORMAL);
428         }
429
430         clnors = CustomData_duplicate_referenced_layer(&dm->loopData, CD_CUSTOMLOOPNORMAL, num_loops);
431         if (!clnors) {
432                 DM_add_loop_layer(dm, CD_CUSTOMLOOPNORMAL, CD_CALLOC, NULL);
433                 clnors = dm->getLoopDataArray(dm, CD_CUSTOMLOOPNORMAL);
434         }
435
436         polynors = dm->getPolyDataArray(dm, CD_NORMAL);
437         if (!polynors) {
438                 polynors = MEM_mallocN(sizeof(*polynors) * num_polys, __func__);
439                 BKE_mesh_calc_normals_poly(mvert, NULL, num_verts, mloop, mpoly, num_loops, num_polys, polynors, false);
440                 free_polynors = true;
441         }
442
443         modifier_get_vgroup(ob, dm, smd->defgrp_name, &dvert, &defgrp_index);
444
445         if (smd->mode == MOD_NORMALEDIT_MODE_RADIAL) {
446                 normalEditModifier_do_radial(
447                             smd, ob, dm, clnors, loopnors, polynors,
448                             smd->mix_mode, smd->mix_factor, smd->mix_limit, dvert, defgrp_index, use_invert_vgroup,
449                             mvert, num_verts, medge, num_edges, mloop, num_loops, mpoly, num_polys);
450         }
451         else if (smd->mode == MOD_NORMALEDIT_MODE_DIRECTIONAL) {
452                 normalEditModifier_do_directional(
453                             smd, ob, dm, clnors, loopnors, polynors,
454                             smd->mix_mode, smd->mix_factor, smd->mix_limit, dvert, defgrp_index, use_invert_vgroup,
455                             mvert, num_verts, medge, num_edges, mloop, num_loops, mpoly, num_polys);
456         }
457
458         if (free_polynors) {
459                 MEM_freeN(polynors);
460         }
461
462         return dm;
463 }
464
465 static void initData(ModifierData *md)
466 {
467         NormalEditModifierData *smd = (NormalEditModifierData *)md;
468
469         smd->mode = MOD_NORMALEDIT_MODE_RADIAL;
470
471         smd->mix_mode = MOD_NORMALEDIT_MIX_COPY;
472         smd->mix_factor = 1.0f;
473         smd->mix_limit = M_PI;
474 }
475
476 static void copyData(ModifierData *md, ModifierData *target)
477 {
478         modifier_copyData_generic(md, target);
479 }
480
481 static CustomDataMask requiredDataMask(Object *UNUSED(ob), ModifierData *md)
482 {
483         NormalEditModifierData *smd = (NormalEditModifierData *)md;
484         CustomDataMask dataMask = CD_CUSTOMLOOPNORMAL;
485
486         /* Ask for vertexgroups if we need them. */
487         if (smd->defgrp_name[0]) {
488                 dataMask |= (CD_MASK_MDEFORMVERT);
489         }
490
491         return dataMask;
492 }
493
494 static bool dependsOnNormals(ModifierData *UNUSED(md))
495 {
496         return true;
497 }
498
499 static void foreachObjectLink(ModifierData *md, Object *ob, ObjectWalkFunc walk, void *userData)
500 {
501         NormalEditModifierData *smd = (NormalEditModifierData *) md;
502
503         walk(userData, ob, &smd->target, IDWALK_NOP);
504 }
505
506 static bool isDisabled(ModifierData *md, int UNUSED(useRenderParams))
507 {
508         NormalEditModifierData *smd = (NormalEditModifierData *)md;
509
510         return !is_valid_target(smd);
511 }
512
513 static void updateDepgraph(ModifierData *md, DagForest *forest,
514                            struct Main *UNUSED(bmain),
515                            struct Scene *UNUSED(scene),
516                            Object *UNUSED(ob), DagNode *obNode)
517 {
518         NormalEditModifierData *smd = (NormalEditModifierData *) md;
519
520         if (smd->target) {
521                 DagNode *Node = dag_get_node(forest, smd->target);
522
523                 dag_add_relation(forest, Node, obNode, DAG_RL_OB_DATA, "NormalEdit Modifier");
524         }
525 }
526
527 static void updateDepsgraph(ModifierData *md,
528                             struct Main *UNUSED(bmain),
529                             struct Scene *UNUSED(scene),
530                             Object *UNUSED(ob),
531                             struct DepsNodeHandle *node)
532 {
533         NormalEditModifierData *smd = (NormalEditModifierData *) md;
534         if (smd->target) {
535                 DEG_add_object_relation(node, smd->target, DEG_OB_COMP_GEOMETRY, "NormalEdit Modifier");
536         }
537 }
538
539 static DerivedMesh *applyModifier(ModifierData *md, Object *ob, DerivedMesh *dm, ModifierApplyFlag UNUSED(flag))
540 {
541         return normalEditModifier_do((NormalEditModifierData *)md, ob, dm);
542 }
543
544 ModifierTypeInfo modifierType_NormalEdit = {
545         /* name */              "Set Split Normals",
546         /* structName */        "NormalEditModifierData",
547         /* structSize */        sizeof(NormalEditModifierData),
548         /* type */              eModifierTypeType_Constructive,
549         /* flags */             eModifierTypeFlag_AcceptsMesh |
550                                 eModifierTypeFlag_SupportsMapping |
551                                 eModifierTypeFlag_SupportsEditmode |
552                                 eModifierTypeFlag_EnableInEditmode,
553         /* copyData */          copyData,
554         /* deformVerts */       NULL,
555         /* deformMatrices */    NULL,
556         /* deformVertsEM */     NULL,
557         /* deformMatricesEM */  NULL,
558         /* applyModifier */     applyModifier,
559         /* applyModifierEM */   NULL,
560         /* initData */          initData,
561         /* requiredDataMask */  requiredDataMask,
562         /* freeData */          NULL,
563         /* isDisabled */        isDisabled,
564         /* updateDepgraph */    updateDepgraph,
565         /* updateDepsgraph */   updateDepsgraph,
566         /* dependsOnTime */     NULL,
567         /* dependsOnNormals */  dependsOnNormals,
568         /* foreachObjectLink */ foreachObjectLink,
569         /* foreachIDLink */     NULL,
570         /* foreachTexLink */    NULL,
571 };