Fix T40508: Calculating normals crashes
[blender.git] / source / blender / bmesh / operators / bmo_normals.c
1 /*
2  * ***** BEGIN GPL LICENSE BLOCK *****
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License
6  * as published by the Free Software Foundation; either version 2
7  * of the License, or (at your option) any later version.
8  *
9  * This program is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12  * GNU General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software Foundation,
16  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
17  *
18  * Contributor(s): Joseph Eagar, Campbell Barton
19  *
20  * ***** END GPL LICENSE BLOCK *****
21  */
22
23 /** \file blender/bmesh/operators/bmo_normals.c
24  *  \ingroup bmesh
25  *
26  * normal recalculation.
27  */
28
29 #include "MEM_guardedalloc.h"
30
31 #include "BLI_math.h"
32 #include "BLI_linklist_stack.h"
33
34 #include "bmesh.h"
35
36 #include "intern/bmesh_operators_private.h" /* own include */
37
38 /********* righthand faces implementation ****** */
39
40 #define FACE_FLAG       (1 << 0)
41 #define FACE_FLIP       (1 << 1)
42 #define FACE_TEMP       (1 << 2)
43
44 static bool bmo_recalc_normal_edge_filter_cb(BMElem *ele, void *UNUSED(user_data))
45 {
46         return BM_edge_is_manifold((BMEdge *)ele);
47 }
48
49 /**
50  * Given an array of faces, recalculate their normals.
51  * this functions assumes all faces in the array are connected by edges.
52  *
53  * \param bm
54  * \param faces  Array of connected faces.
55  * \param faces_len  Length of \a faces
56  * \param oflag  Flag to check before doing the actual face flipping.
57  */
58 static void bmo_recalc_face_normals_array(BMesh *bm, BMFace **faces, const int faces_len, const short oflag)
59 {
60         float cent[3], tvec[3];
61         float (*faces_center)[3] = MEM_mallocN(sizeof(*faces_center) * faces_len, __func__);
62         const float cent_fac = 1.0f / (float)faces_len;
63         int i, f_start_index;
64         const short oflag_flip = oflag | FACE_FLIP;
65
66         float f_len_best_sq;
67         BMFace *f;
68
69         BLI_LINKSTACK_DECLARE(fstack, BMFace *);
70
71         zero_v3(cent);
72
73         /* first calculate the center */
74         for (i = 0; i < faces_len; i++) {
75                 float *f_cent = faces_center[i];
76                 BM_face_calc_center_mean_weighted(faces[i], f_cent);
77                 madd_v3_v3fl(cent, f_cent, cent_fac);
78
79                 BLI_assert(BMO_elem_flag_test(bm, faces[i], FACE_TEMP) == 0);
80                 BLI_assert(BM_face_is_normal_valid(faces[i]));
81         }
82
83         f_len_best_sq = -FLT_MAX;
84         /* used in degenerate cases only */
85         f_start_index = 0;
86
87         for (i = 0; i < faces_len; i++) {
88                 float f_len_test_sq;
89
90                 if ((f_len_test_sq = len_squared_v3v3(faces_center[i], cent)) > f_len_best_sq) {
91                         f_len_best_sq = f_len_test_sq;
92                         f_start_index = i;
93                 }
94         }
95
96         /* make sure the starting face has the correct winding */
97         sub_v3_v3v3(tvec, faces_center[f_start_index], cent);
98         if (dot_v3v3(tvec, faces[f_start_index]->no) < 0.0f) {
99                 BMO_elem_flag_enable(bm, faces[f_start_index], FACE_FLIP);
100         }
101
102         MEM_freeN(faces_center);
103
104         /* now that we've found our starting face, make all connected faces
105          * have the same winding.  this is done recursively, using a manual
106          * stack (if we use simple function recursion, we'd end up overloading
107          * the stack on large meshes). */
108         BLI_LINKSTACK_INIT(fstack);
109
110         BLI_LINKSTACK_PUSH(fstack, faces[f_start_index]);
111         BMO_elem_flag_enable(bm, faces[f_start_index], FACE_TEMP);
112
113         while ((f = BLI_LINKSTACK_POP(fstack))) {
114                 const bool flip_state = BMO_elem_flag_test_bool(bm, f, FACE_FLIP);
115                 BMLoop *l_iter, *l_first;
116
117                 l_iter = l_first = BM_FACE_FIRST_LOOP(f);
118                 do {
119                         BMLoop *l_other = l_iter->radial_next;
120
121                         if ((l_other != l_iter) && bmo_recalc_normal_edge_filter_cb((BMElem *)l_iter->e, NULL)) {
122                                 if (!BMO_elem_flag_test(bm, l_other->f, FACE_TEMP)) {
123                                         BMO_elem_flag_enable(bm, l_other->f, FACE_TEMP);
124                                         BMO_elem_flag_set(bm, l_other->f, FACE_FLIP, (l_other->v == l_iter->v) != flip_state);
125                                         BLI_LINKSTACK_PUSH(fstack, l_other->f);
126                                 }
127                         }
128                 } while ((l_iter = l_iter->next) != l_first);
129         }
130
131         BLI_LINKSTACK_FREE(fstack);
132
133         /* apply flipping to oflag'd faces */
134         for (i = 0; i < faces_len; i++) {
135                 if (BMO_elem_flag_test(bm, faces[i], oflag_flip) == oflag_flip) {
136                         BM_face_normal_flip(bm, faces[i]);
137                 }
138                 BMO_elem_flag_disable(bm, faces[i], FACE_TEMP);
139         }
140 }
141
142 /*
143  * put normal to the outside, and set the first direction flags in edges
144  *
145  * then check the object, and set directions / direction-flags: but only for edges with 1 or 2 faces
146  * this is in fact the 'select connected'
147  *
148  * in case all faces were not done: start over with 'find the ultimate ...' */
149
150 void bmo_recalc_face_normals_exec(BMesh *bm, BMOperator *op)
151 {
152         int *groups_array = MEM_mallocN(sizeof(*groups_array) * bm->totface, __func__);
153         BMFace **faces_grp = MEM_mallocN(sizeof(*faces_grp) * bm->totface, __func__);
154
155         int (*group_index)[2];
156         const int group_tot = BM_mesh_calc_face_groups(bm, groups_array, &group_index,
157                                                        bmo_recalc_normal_edge_filter_cb, NULL,
158                                                        0, BM_EDGE);
159         int i;
160
161         BMO_slot_buffer_flag_enable(bm, op->slots_in, "faces", BM_FACE, FACE_FLAG);
162
163         BM_mesh_elem_table_ensure(bm, BM_FACE);
164
165         for (i = 0; i < group_tot; i++) {
166                 const int fg_sta = group_index[i][0];
167                 const int fg_len = group_index[i][1];
168                 int j;
169                 bool is_calc = false;
170
171                 for (j = 0; j < fg_len; j++) {
172                         faces_grp[j] = BM_face_at_index(bm, groups_array[fg_sta + j]);
173
174                         if (is_calc == false) {
175                                 is_calc = BMO_elem_flag_test_bool(bm, faces_grp[j], FACE_FLAG);
176                         }
177                 }
178
179                 if (is_calc) {
180                         bmo_recalc_face_normals_array(bm, faces_grp, fg_len, FACE_FLAG);
181                 }
182         }
183
184         MEM_freeN(faces_grp);
185
186         MEM_freeN(groups_array);
187         MEM_freeN(group_index);
188 }