code cleanup: use booleans and const's for operator vars.
[blender.git] / source / blender / editors / mesh / editmesh_rip.c
1 /*
2  * ***** BEGIN GPL LICENSE BLOCK *****
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License
6  * as published by the Free Software Foundation; either version 2
7  * of the License, or (at your option) any later version.
8  *
9  * This program is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12  * GNU General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software Foundation,
16  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
17  *
18  * The Original Code is Copyright (C) 2004 by Blender Foundation.
19  * All rights reserved.
20  *
21  * The Original Code is: all of this file.
22  *
23  * Contributor(s): Joseph Eagar
24  *
25  * ***** END GPL LICENSE BLOCK *****
26  */
27
28 /** \file blender/editors/mesh/editmesh_rip.c
29  *  \ingroup edmesh
30  */
31
32 #include "MEM_guardedalloc.h"
33
34 #include "DNA_object_types.h"
35
36 #include "BLI_math.h"
37 #include "BLI_array.h"
38
39 #include "BKE_context.h"
40 #include "BKE_report.h"
41 #include "BKE_tessmesh.h"
42
43 #include "RNA_define.h"
44 #include "RNA_access.h"
45
46 #include "WM_types.h"
47
48 #include "ED_mesh.h"
49 #include "ED_screen.h"
50 #include "ED_transform.h"
51 #include "ED_view3d.h"
52
53 #include "mesh_intern.h"
54
55 /**
56  * helper to find edge for edge_rip,
57  *
58  * \param inset is used so we get some useful distance
59  * when comparing multiple edges that meet at the same
60  * point and would result in the same distance.
61  */
62 #define INSET_DEFAULT 0.00001f
63 static float edbm_rip_edgedist(ARegion *ar, float mat[4][4],
64                                const float co1[3], const float co2[3], const float mvalf[2],
65                                const float inset)
66 {
67         float vec1[2], vec2[2];
68
69         ED_view3d_project_float_v2_m4(ar, co1, vec1, mat);
70         ED_view3d_project_float_v2_m4(ar, co2, vec2, mat);
71
72         if (inset != 0.0f) {
73                 const float dist = inset / len_v2v2(vec1, vec2);
74                 interp_v2_v2v2(vec1, vec1, vec2, dist);
75                 interp_v2_v2v2(vec2, vec2, vec1, dist);
76         }
77
78         /* TODO: use dist_squared_to_line_segment_v2() looks like we only ever use for comparison */
79         return dist_to_line_segment_v2(mvalf, vec1, vec2);
80 }
81
82 #if 0
83 static float edbm_rip_linedist(ARegion *ar, float mat[4][4],
84                                const float co1[3], const float co2[3], const float mvalf[2])
85 {
86         float vec1[2], vec2[2];
87
88         ED_view3d_project_float_v2_m4(ar, co1, vec1, mat);
89         ED_view3d_project_float_v2_m4(ar, co2, vec2, mat);
90
91         return dist_to_line_v2(mvalf, vec1, vec2);
92 }
93 #endif
94
95 /* calculaters a point along the loop tangent which can be used to measure against edges */
96 static void edbm_calc_loop_co(BMLoop *l, float l_mid_co[3])
97 {
98         BM_loop_calc_face_tangent(l, l_mid_co);
99
100         /* scale to average of surrounding edge size, only needs to be approx, but should
101          * be roughly equivalent to the check below which uses the middle of the edge. */
102         mul_v3_fl(l_mid_co, (BM_edge_calc_length(l->e) + BM_edge_calc_length(l->prev->e)) / 2.0f);
103
104         add_v3_v3(l_mid_co, l->v->co);
105 }
106
107
108 static float edbm_rip_edge_side_measure(BMEdge *e, BMLoop *e_l,
109                                         ARegion *ar,
110                                         float projectMat[4][4], const float fmval[2])
111 {
112         float cent[3] = {0, 0, 0}, mid[3];
113
114         float vec[2];
115         float fmval_tweak[2];
116         float e_v1_co[2], e_v2_co[2];
117         float score;
118
119         BMVert *v1_other;
120         BMVert *v2_other;
121
122         BLI_assert(BM_vert_in_edge(e, e_l->v));
123
124         /* method for calculating distance:
125          *
126          * for each edge: calculate face center, then made a vector
127          * from edge midpoint to face center.  offset edge midpoint
128          * by a small amount along this vector. */
129
130         /* rather then the face center, get the middle of
131          * both edge verts connected to this one */
132         v1_other = BM_face_other_vert_loop(e_l->f, e->v2, e->v1)->v;
133         v2_other = BM_face_other_vert_loop(e_l->f, e->v1, e->v2)->v;
134         mid_v3_v3v3(cent, v1_other->co, v2_other->co);
135         mid_v3_v3v3(mid, e->v1->co, e->v2->co);
136
137         ED_view3d_project_float_v2_m4(ar, cent, cent, projectMat);
138         ED_view3d_project_float_v2_m4(ar, mid, mid, projectMat);
139
140         ED_view3d_project_float_v2_m4(ar, e->v1->co, e_v1_co, projectMat);
141         ED_view3d_project_float_v2_m4(ar, e->v2->co, e_v2_co, projectMat);
142
143         sub_v2_v2v2(vec, cent, mid);
144         normalize_v2(vec);
145         mul_v2_fl(vec, 0.01f);
146
147         /* rather then adding to both verts, subtract from the mouse */
148         sub_v2_v2v2(fmval_tweak, fmval, vec);
149
150         score = len_v2v2(e_v1_co, e_v2_co);
151
152         if (dist_squared_to_line_segment_v2(fmval_tweak, e_v1_co, e_v2_co) >
153             dist_squared_to_line_segment_v2(fmval,       e_v1_co, e_v2_co))
154         {
155                 return score;
156         }
157         else {
158                 return -score;
159         }
160 }
161
162
163 /* - Advanced selection handling 'ripsel' functions ----- */
164
165 /**
166  * How rip selection works
167  *
168  * Firstly - rip is basically edge split with side-selection & grab.
169  * Things would be much more simple if we didn't have to worry about side selection
170  *
171  * The method used for checking the side of selection is as follows...
172  * - First tag all rip-able edges.
173  * - Build a contiguous edge list by looping over tagged edges and following each ones tagged siblings in both
174  *   directions.
175  *   - The loops are not stored in an array, Instead both loops on either side of each edge has its index values set
176  *     to count down from the last edge, this way, once we have the 'last' edge its very easy to walk down the
177  *     connected edge loops.
178  *     The reason for using loops like this is because when the edges are split we don't which face user gets the newly
179  *     created edge (its as good as random so we cant assume new edges will be on once side).
180  *     After splitting, its very simple to walk along boundary loops since each only has one edge from a single side.
181  * - The end loop pairs are stored in an array however to support multiple edge-selection-islands, so you can rip
182  *   multiple selections at once.
183  * - * Execute the split *
184  * - For each #EdgeLoopPair walk down both sides of the split using the loops and measure which is facing the mouse.
185  * - Deselect the edge loop facing away.
186  *
187  * Limitation!
188  * This currently works very poorly with intersecting edge islands (verts with more then 2 tagged edges)
189  * This is nice to but for now not essential.
190  *
191  * - campbell.
192  */
193
194
195 #define IS_VISIT_POSSIBLE(e)   (BM_edge_is_manifold(e) && BM_elem_flag_test(e, BM_ELEM_TAG))
196 #define IS_VISIT_DONE(e) ((e)->l && (BM_elem_index_get((e)->l) != INVALID_UID))
197 #define INVALID_UID INT_MIN
198
199 /* mark, assign uid and step */
200 static BMEdge *edbm_ripsel_edge_mark_step(BMVert *v, const int uid)
201 {
202         BMIter iter;
203         BMEdge *e;
204         BM_ITER_ELEM (e, &iter, v, BM_EDGES_OF_VERT) {
205                 if (IS_VISIT_POSSIBLE(e) && !IS_VISIT_DONE(e)) {
206                         BMLoop *l_a, *l_b;
207
208                         BM_edge_loop_pair(e, &l_a, &l_b); /* no need to check, we know this will be true */
209
210                         /* so (IS_VISIT_DONE == true) */
211                         BM_elem_index_set(l_a, uid);
212                         BM_elem_index_set(l_b, uid);
213
214                         return e;
215                 }
216         }
217         return NULL;
218 }
219
220 typedef struct EdgeLoopPair {
221         BMLoop *l_a;
222         BMLoop *l_b;
223 } EdgeLoopPair;
224
225 static EdgeLoopPair *edbm_ripsel_looptag_helper(BMesh *bm)
226 {
227         BMIter fiter;
228         BMIter liter;
229
230         BMFace *f;
231         BMLoop *l;
232
233         int uid_start;
234         int uid_end;
235         int uid = bm->totedge; /* can start anywhere */
236
237         EdgeLoopPair *eloop_pairs = NULL;
238         BLI_array_declare(eloop_pairs);
239         EdgeLoopPair *lp;
240
241         /* initialize loops with dummy invalid index values */
242         BM_ITER_MESH (f, &fiter, bm, BM_FACES_OF_MESH) {
243                 BM_ITER_ELEM (l, &liter, f, BM_LOOPS_OF_FACE) {
244                         BM_elem_index_set(l, INVALID_UID);
245                 }
246         }
247
248         /* set contiguous loops ordered 'uid' values for walking after split */
249         while (true) {
250                 int tot = 0;
251                 BMIter eiter;
252                 BMEdge *e_step;
253                 BMVert *v_step;
254                 BMEdge *e;
255                 BMEdge *e_first;
256                 BMEdge *e_last;
257
258                 e_first = NULL;
259                 BM_ITER_MESH (e, &eiter, bm, BM_EDGES_OF_MESH) {
260                         if (IS_VISIT_POSSIBLE(e) && !IS_VISIT_DONE(e)) {
261                                 e_first = e;
262                                 break;
263                         }
264                 }
265
266                 if (e_first == NULL) {
267                         break;
268                 }
269
270                 /* initialize  */
271                 e_first = e;
272                 v_step = e_first->v1;
273                 e_step = NULL; /* quiet warning, will never remain this value */
274
275                 uid_start = uid;
276                 while ((e = edbm_ripsel_edge_mark_step(v_step, uid))) {
277                         v_step = BM_edge_other_vert((e_step = e), v_step);
278                         uid++; /* only different line */
279                         tot++;
280                 }
281
282                 /* this edges loops have the highest uid's, store this to walk down later */
283                 e_last = e_step;
284
285                 /* always store the highest 'uid' edge for the stride */
286                 uid_end = uid - 1;
287                 uid = uid_start - 1;
288
289                 /* initialize */
290                 v_step = e_first->v1;
291
292                 while ((e = edbm_ripsel_edge_mark_step(v_step, uid))) {
293                         v_step = BM_edge_other_vert((e_step = e), v_step);
294                         uid--; /* only different line */
295                         tot++;
296                 }
297
298                 /* stride far enough not to _ever_ overlap range */
299                 uid_start = uid;
300                 uid = uid_end + bm->totedge;
301
302                 BLI_array_grow_one(eloop_pairs);
303                 lp = &eloop_pairs[BLI_array_count(eloop_pairs) - 1];
304                 BM_edge_loop_pair(e_last, &lp->l_a, &lp->l_b); /* no need to check, we know this will be true */
305
306
307                 BLI_assert(tot == uid_end - uid_start);
308
309 #if 0
310                 printf("%s: found contiguous edge loop of (%d)\n", __func__, uid_end - uid_start);
311 #endif
312
313         }
314
315         /* null terminate */
316         BLI_array_grow_one(eloop_pairs);
317         lp = &eloop_pairs[BLI_array_count(eloop_pairs) - 1];
318         lp->l_a = lp->l_b = NULL;
319
320         return eloop_pairs;
321 }
322
323
324 /* - De-Select the worst rip-edge side -------------------------------- */
325
326
327 static BMEdge *edbm_ripsel_edge_uid_step(BMEdge *e_orig, BMVert **v_prev)
328 {
329         BMIter eiter;
330         BMEdge *e;
331         BMVert *v = BM_edge_other_vert(e_orig, *v_prev);
332         const int uid_cmp = BM_elem_index_get(e_orig->l) - 1;
333
334         BM_ITER_ELEM (e, &eiter, v, BM_EDGES_OF_VERT) {
335                 if (BM_elem_index_get(e->l) == uid_cmp) {
336                         *v_prev = v;
337                         return e;
338                 }
339         }
340         return NULL;
341 }
342
343 static BMVert *edbm_ripsel_edloop_pair_start_vert(BMEdge *e)
344 {
345         /* try step in a direction, if it fails we know do go the other way */
346         BMVert *v_test = e->v1;
347         return (edbm_ripsel_edge_uid_step(e, &v_test)) ? e->v1 : e->v2;
348 }
349
350 static void edbm_ripsel_deselect_helper(BMesh *bm, EdgeLoopPair *eloop_pairs,
351                                         ARegion *ar, float projectMat[4][4], float fmval[2])
352 {
353         EdgeLoopPair *lp;
354
355         for (lp = eloop_pairs; lp->l_a; lp++) {
356                 BMEdge *e;
357                 BMVert *v_prev;
358
359                 float score_a = 0.0f;
360                 float score_b = 0.0f;
361
362                 e = lp->l_a->e;
363                 v_prev = edbm_ripsel_edloop_pair_start_vert(e);
364                 for (; e; e = edbm_ripsel_edge_uid_step(e, &v_prev)) {
365                         score_a += edbm_rip_edge_side_measure(e, e->l, ar, projectMat, fmval);
366                 }
367                 e = lp->l_b->e;
368                 v_prev = edbm_ripsel_edloop_pair_start_vert(e);
369                 for (; e; e = edbm_ripsel_edge_uid_step(e, &v_prev)) {
370                         score_b += edbm_rip_edge_side_measure(e, e->l, ar, projectMat, fmval);
371                 }
372
373                 e = (score_a > score_b) ? lp->l_a->e : lp->l_b->e;
374                 v_prev = edbm_ripsel_edloop_pair_start_vert(e);
375                 for (; e; e = edbm_ripsel_edge_uid_step(e, &v_prev)) {
376                         BM_edge_select_set(bm, e, false);
377                 }
378         }
379 }
380 /* --- end 'ripsel' selection handling code --- */
381
382
383 /* --- face-fill code --- */
384 /**
385  * return an un-ordered array of loop pairs
386  * use for rebuilding face-fill
387  *
388  * \note the method currenly used fails for edges with 3+ face users and gives
389  *       nasty holes in the mesh, there isnt a good way of knowing ahead of time
390  *       which loops will be split apart (its possible to figure out but quite involved).
391  *       So for now this is a known limitation of current rip-fill option.
392  */
393
394 typedef struct UnorderedLoopPair {
395         BMLoop *l_pair[2];
396         char    flag;
397 } UnorderedLoopPair;
398 enum {
399         ULP_FLIP_0 = (1 << 0),
400         ULP_FLIP_1 = (1 << 1)
401 };
402
403 static UnorderedLoopPair *edbm_tagged_loop_pairs_to_fill(BMesh *bm)
404 {
405         BMIter iter;
406         BMEdge *e;
407
408         unsigned int total_tag = 0;
409         /* count tags, could be pre-calculated */
410         BM_ITER_MESH (e, &iter, bm, BM_EDGES_OF_MESH) {
411                 if (BM_elem_flag_test(e, BM_ELEM_TAG)) {
412                         total_tag++;
413                 }
414         }
415
416         if (total_tag) {
417                 UnorderedLoopPair *uloop_pairs = MEM_mallocN(total_tag * sizeof(UnorderedLoopPair), __func__);
418                 UnorderedLoopPair *ulp = uloop_pairs;
419
420                 BM_ITER_MESH (e, &iter, bm, BM_EDGES_OF_MESH) {
421                         if (BM_elem_flag_test(e, BM_ELEM_TAG)) {
422                                 BMLoop *l1, *l2;
423                                 if (BM_edge_loop_pair(e, &l1, &l2)) {
424                                         BMVert *v_cmp = l1->e->v1;
425                                         ulp->flag = (((l1->v != v_cmp) ? ULP_FLIP_0 : 0) |
426                                                      ((l2->v == v_cmp) ? ULP_FLIP_1 : 0));
427                                 }
428                                 else {
429                                         ulp->flag = 0;
430                                 }
431                                 ulp->l_pair[0] = l1;
432                                 ulp->l_pair[1] = l2;
433
434                                 ulp++;
435                         }
436                 }
437
438                 return uloop_pairs;
439         }
440         else {
441                 return NULL;
442         }
443 }
444
445 static void edbm_tagged_loop_pairs_do_fill_faces(BMesh *bm, UnorderedLoopPair *uloop_pairs)
446 {
447         UnorderedLoopPair *ulp;
448         unsigned int total_tag = MEM_allocN_len(uloop_pairs) / sizeof(UnorderedLoopPair);
449         unsigned int i;
450
451         for (i = 0, ulp = uloop_pairs; i < total_tag; i++, ulp++) {
452                 if ((ulp->l_pair[0]    && ulp->l_pair[1]) &&
453                     (ulp->l_pair[0]->e != ulp->l_pair[1]->e))
454                 {
455                          /* time has come to make a face! */
456                         BMVert *v_shared = BM_edge_share_vert(ulp->l_pair[0]->e, ulp->l_pair[1]->e);
457                         BMFace *f, *f_example = ulp->l_pair[0]->f;
458                         BMLoop *l_iter;
459                         BMVert *f_verts[4];
460
461                         if (v_shared == NULL) {
462                                 /* quad */
463                                 f_verts[0] = ulp->l_pair[0]->e->v1;
464                                 f_verts[1] = ulp->l_pair[1]->e->v1;
465                                 f_verts[2] = ulp->l_pair[1]->e->v2;
466                                 f_verts[3] = ulp->l_pair[0]->e->v2;
467
468                                 if (ulp->flag & ULP_FLIP_0) {
469                                         SWAP(BMVert *, f_verts[0], f_verts[3]);
470                                 }
471                                 if (ulp->flag & ULP_FLIP_1) {
472                                         SWAP(BMVert *, f_verts[1], f_verts[2]);
473                                 }
474                         }
475                         else {
476                                 /* tri */
477                                 f_verts[0] = v_shared;
478                                 f_verts[1] = BM_edge_other_vert(ulp->l_pair[0]->e, v_shared);
479                                 f_verts[2] = BM_edge_other_vert(ulp->l_pair[1]->e, v_shared);
480                                 f_verts[3] = NULL;
481
482                                 /* don't use the flip flags */
483                                 if (v_shared == ulp->l_pair[0]->v) {
484                                         SWAP(BMVert *, f_verts[0], f_verts[1]);
485                                 }
486                         }
487
488                         /* face should never exist */
489                         BLI_assert(BM_face_exists(f_verts, f_verts[3] ? 4 : 3, &f) == false);
490
491                         f = BM_face_create_quad_tri_v(bm, f_verts, f_verts[3] ? 4 : 3, f_example, false);
492
493                         l_iter = BM_FACE_FIRST_LOOP(f);
494
495                         if (f_verts[3]) {
496                                 BM_elem_attrs_copy(bm, bm, BM_edge_other_loop(ulp->l_pair[0]->e, l_iter), l_iter); l_iter = l_iter->next;
497                                 BM_elem_attrs_copy(bm, bm, BM_edge_other_loop(ulp->l_pair[1]->e, l_iter), l_iter); l_iter = l_iter->next;
498                                 BM_elem_attrs_copy(bm, bm, BM_edge_other_loop(ulp->l_pair[1]->e, l_iter), l_iter); l_iter = l_iter->next;
499                                 BM_elem_attrs_copy(bm, bm, BM_edge_other_loop(ulp->l_pair[0]->e, l_iter), l_iter);
500                         }
501                         else {
502                                 BM_elem_attrs_copy(bm, bm, BM_edge_other_loop(ulp->l_pair[0]->e, l_iter), l_iter); l_iter = l_iter->next;
503                                 BM_elem_attrs_copy(bm, bm, BM_edge_other_loop(ulp->l_pair[0]->e, l_iter), l_iter); l_iter = l_iter->next;
504                                 BM_elem_attrs_copy(bm, bm, BM_edge_other_loop(ulp->l_pair[1]->e, l_iter), l_iter);
505                         }
506
507                 }
508         }
509 }
510
511 /* --- end 'face-fill' code --- */
512
513
514 static bool edbm_rip_call_edgesplit(BMEditMesh *em, wmOperator *op)
515 {
516         BMOperator bmop;
517
518         if (!EDBM_op_init(em, &bmop, op, "split_edges edges=%he verts=%hv use_verts=%b",
519                           BM_ELEM_TAG, BM_ELEM_SELECT, true))
520         {
521                 return false;
522         }
523         BMO_op_exec(em->bm, &bmop);
524         if (!EDBM_op_finish(em, &bmop, op, true)) {
525                 return false;
526         }
527
528         return true;
529 }
530
531 /**
532  * This is the main vert ripping function (rip when one vertex is selected)
533  */
534 static int edbm_rip_invoke__vert(bContext *C, wmOperator *op, const wmEvent *event)
535 {
536         const bool do_fill = RNA_boolean_get(op->ptr, "use_fill");
537         UnorderedLoopPair *fill_uloop_pairs = NULL;
538         Object *obedit = CTX_data_edit_object(C);
539         ARegion *ar = CTX_wm_region(C);
540         RegionView3D *rv3d = CTX_wm_region_view3d(C);
541         BMEditMesh *em = BMEdit_FromObject(obedit);
542         BMesh *bm = em->bm;
543         BMIter iter, liter;
544         BMLoop *l;
545         BMEdge *e, *e2;
546         BMVert *v, *ripvert = NULL;
547         const int totvert_orig = bm->totvert;
548         int i;
549         float projectMat[4][4], fmval[3] = {event->mval[0], event->mval[1]};
550         float dist = FLT_MAX;
551         float d;
552         bool is_wire;
553
554         BMEditSelection ese;
555         int totboundary_edge = 0;
556
557         ED_view3d_ob_project_mat_get(rv3d, obedit, projectMat);
558
559         /* find selected vert - same some time and check history first */
560         if (BM_select_history_active_get(bm, &ese) && ese.htype == BM_VERT) {
561                 v = (BMVert *)ese.ele;
562         }
563         else {
564                 ese.ele = NULL;
565
566                 BM_ITER_MESH (v, &iter, bm, BM_VERTS_OF_MESH) {
567                         if (BM_elem_flag_test(v, BM_ELEM_SELECT))
568                                 break;
569                 }
570         }
571
572         /* this should be impossible, but sanity checks are a good thing */
573         if (!v)
574                 return OPERATOR_CANCELLED;
575
576         is_wire = BM_vert_is_wire(v);
577
578         e2 = NULL;
579
580         if (v->e) {
581                 /* find closest edge to mouse cursor */
582                 BM_ITER_ELEM (e, &iter, v, BM_EDGES_OF_VERT) {
583                         int is_boundary = BM_edge_is_boundary(e);
584                         /* consider wire as boundary for this purpose,
585                          * otherwise we can't a face away from a wire edge */
586                         totboundary_edge += (is_boundary != 0 || BM_edge_is_wire(e));
587                         if (!BM_elem_flag_test(e, BM_ELEM_HIDDEN)) {
588                                 if (is_boundary == false && BM_edge_is_manifold(e)) {
589                                         d = edbm_rip_edgedist(ar, projectMat, e->v1->co, e->v2->co, fmval, INSET_DEFAULT);
590                                         if (d < dist) {
591                                                 dist = d;
592                                                 e2 = e;
593                                         }
594                                 }
595                         }
596                 }
597
598                 /* if we are ripping a single vertex from 3 faces,
599                  * then measure the distance to the face corner as well as the edge */
600                 if (BM_vert_face_count(v) == 3 &&
601                     BM_vert_edge_count(v) == 3)
602                 {
603                         BMEdge *e_all[3];
604                         BMLoop *l_all[3];
605                         int i1, i2;
606
607                         BM_iter_as_array(bm, BM_EDGES_OF_VERT, v, (void **)e_all, 3);
608                         BM_iter_as_array(bm, BM_LOOPS_OF_VERT, v, (void **)l_all, 3);
609
610                         /* not do a loop similar to the one above, but test against loops */
611                         for (i1 = 0; i1 < 3; i1++) {
612                                 /* consider wire as boundary for this purpose,
613                                  * otherwise we can't a face away from a wire edge */
614                                 float l_mid_co[3];
615                                 l = l_all[i1];
616                                 edbm_calc_loop_co(l, l_mid_co);
617                                 d = edbm_rip_edgedist(ar, projectMat, l->v->co, l_mid_co, fmval, INSET_DEFAULT);
618
619                                 if (d < dist) {
620                                         dist = d;
621
622                                         /* find the edge that is not in this loop */
623                                         e2 = NULL;
624                                         for (i2 = 0; i2 < 3; i2++) {
625                                                 if (!BM_edge_in_loop(e_all[i2], l)) {
626                                                         e2 = e_all[i2];
627                                                         break;
628                                                 }
629                                         }
630                                         BLI_assert(e2 != NULL);
631                                 }
632                         }
633                 }
634         }
635
636         /* should we go ahead with edge rip or do we need to do special case, split off vertex?:
637          * split off vertex if...
638          * - we cant find an edge - this means we are ripping a faces vert that is connected to other
639          *   geometry only at the vertex.
640          * - the boundary edge total is greater then 2,
641          *   in this case edge split _can_ work but we get far nicer results if we use this special case.
642          * - there are only 2 edges but we are a wire vert. */
643         if ((is_wire == false && totboundary_edge > 2) ||
644             (is_wire == true  && totboundary_edge > 1))
645         {
646                 BMVert **vout;
647                 int vout_len;
648
649                 BM_vert_select_set(bm, v, false);
650
651                 if (bmesh_vert_separate(bm, v, &vout, &vout_len) == false) {
652                         BKE_report(op->reports, RPT_ERROR, "Error ripping vertex from faces");
653                         return OPERATOR_CANCELLED;
654                 }
655                 else if (vout_len < 2) {
656                         MEM_freeN(vout);
657                         /* set selection back to avoid active-unselected vertex */
658                         BM_vert_select_set(bm, v, true);
659                         /* should never happen */
660                         BKE_report(op->reports, RPT_ERROR, "Error ripping vertex from faces");
661                         return OPERATOR_CANCELLED;
662                 }
663                 else {
664                         int vi_best = 0;
665
666                         if (ese.ele) {
667                                 BM_select_history_remove(bm, ese.ele);
668                         }
669
670                         dist = FLT_MAX;
671
672                         /* in the loop below we find the best vertex to drag based on its connected geometry,
673                          * either by its face corner, or connected edge (when no faces are attached) */
674                         for (i = 0; i < vout_len; i++) {
675
676                                 if (BM_vert_is_wire(vout[i]) == false) {
677                                         /* find the best face corner */
678                                         BM_ITER_ELEM (l, &iter, vout[i], BM_LOOPS_OF_VERT) {
679                                                 if (!BM_elem_flag_test(l->f, BM_ELEM_HIDDEN)) {
680                                                         float l_mid_co[3];
681                                                         edbm_calc_loop_co(l, l_mid_co);
682
683                                                         d = edbm_rip_edgedist(ar, projectMat, v->co, l_mid_co, fmval, INSET_DEFAULT);
684
685                                                         if (d < dist) {
686                                                                 dist = d;
687                                                                 vi_best = i;
688                                                         }
689                                                 }
690                                         }
691                                 }
692                                 else {
693                                         /* a wire vert, find the best edge */
694                                         BM_ITER_ELEM (e, &iter, vout[i], BM_EDGES_OF_VERT) {
695                                                 if (!BM_elem_flag_test(e, BM_ELEM_HIDDEN)) {
696                                                         float e_mid_co[3];
697                                                         mid_v3_v3v3(e_mid_co, e->v1->co, e->v2->co);
698
699                                                         d = edbm_rip_edgedist(ar, projectMat, v->co, e_mid_co, fmval, INSET_DEFAULT);
700
701                                                         if (d < dist) {
702                                                                 dist = d;
703                                                                 vi_best = i;
704                                                         }
705                                                 }
706                                         }
707                                 }
708                         }
709
710                         /* select the vert from the best region */
711                         v = vout[vi_best];
712                         BM_vert_select_set(bm, v, true);
713
714                         if (ese.ele) {
715                                 BM_select_history_store(bm, v);
716                         }
717
718                         /* splice all others back together */
719                         if (vout_len > 2) {
720
721                                 /* vout[0]  == best
722                                  * vout[1]  == glue
723                                  * vout[2+] == splice with glue
724                                  */
725                                 if (vi_best != 0) {
726                                         SWAP(BMVert *, vout[0], vout[vi_best]);
727                                         vi_best = 0;
728                                 }
729
730                                 for (i = 2; i < vout_len; i++) {
731                                         BM_vert_splice(bm, vout[i], vout[1]);
732                                 }
733                         }
734
735                         MEM_freeN(vout);
736
737                         return OPERATOR_FINISHED;
738                 }
739         }
740
741         if (!e2) {
742                 BKE_report(op->reports, RPT_ERROR, "Selected vertex has no edge/face pairs attached");
743                 return OPERATOR_CANCELLED;
744         }
745
746         /* *** Execute the split! *** */
747         /* unlike edge split, for single vertex split we only use the operator in one of the cases
748          * but both allocate fill */
749
750         /* rip two adjacent edges */
751         if (BM_edge_is_boundary(e2) || BM_vert_face_count(v) == 2) {
752                 /* Don't run the edge split operator in this case */
753
754                 BM_elem_flag_enable(e2, BM_ELEM_TAG);  /* only for face-fill (we don't call the operator) */
755
756                 /* keep directly before edgesplit */
757                 if (do_fill) {
758                         fill_uloop_pairs = edbm_tagged_loop_pairs_to_fill(bm);
759                 }
760
761                 l = e2->l;
762                 ripvert = BM_face_vert_separate(bm, l->f, v);
763
764                 BLI_assert(ripvert);
765                 if (!ripvert) {
766                         if (fill_uloop_pairs) MEM_freeN(fill_uloop_pairs);
767                         return OPERATOR_CANCELLED;
768                 }
769         }
770         else {
771                 if (BM_edge_is_manifold(e2)) {
772                         l = e2->l;
773                         e = BM_face_other_edge_loop(l->f, e2, v)->e;
774                         BM_elem_flag_enable(e, BM_ELEM_TAG);
775
776                         l = e2->l->radial_next;
777                         e = BM_face_other_edge_loop(l->f, e2, v)->e;
778                         BM_elem_flag_enable(e, BM_ELEM_TAG);
779                 }
780                 else {
781                         /* looks like there are no split edges, we could just return/report-error? - Campbell */
782                 }
783
784                 /* keep directly before edgesplit */
785                 if (do_fill) {
786                         fill_uloop_pairs = edbm_tagged_loop_pairs_to_fill(bm);
787                 }
788
789                 if (!edbm_rip_call_edgesplit(em, op)) {
790                         if (fill_uloop_pairs) MEM_freeN(fill_uloop_pairs);
791                         return OPERATOR_CANCELLED;
792                 }
793         }
794
795         dist = FLT_MAX;
796
797         {
798                 /* --- select which vert --- */
799                 BMVert *v_best = NULL;
800                 float l_prev_co[3], l_next_co[3], l_corner_co[3];
801                 float scale;
802
803                 dist = FLT_MAX;
804                 BM_ITER_MESH (v, &iter, bm, BM_VERTS_OF_MESH) {
805                         if (BM_elem_flag_test(v, BM_ELEM_SELECT)) {
806                                 /* disable by default, re-enable winner at end */
807                                 BM_vert_select_set(bm, v, false);
808
809                                 BM_ITER_ELEM (l, &liter, v, BM_LOOPS_OF_VERT) {
810                                         /* calculate a point in the face, rather then calculate the middle,
811                                          * make a vector pointing between the 2 edges attached to this loop */
812                                         sub_v3_v3v3(l_prev_co, l->prev->v->co, l->v->co);
813                                         sub_v3_v3v3(l_next_co, l->next->v->co, l->v->co);
814
815                                         scale = normalize_v3(l_prev_co) + normalize_v3(l_next_co);
816                                         mul_v3_fl(l_prev_co, scale);
817                                         mul_v3_fl(l_next_co, scale);
818
819                                         add_v3_v3v3(l_corner_co, l_prev_co, l_next_co);
820                                         add_v3_v3(l_corner_co, l->v->co);
821
822                                         d = edbm_rip_edgedist(ar, projectMat, l->v->co, l_corner_co, fmval, INSET_DEFAULT);
823                                         if (d < dist) {
824                                                 v_best = v;
825                                                 dist = d;
826                                         }
827                                 }
828                         }
829                 }
830
831                 if (v_best) {
832                         BM_vert_select_set(bm, v_best, true);
833                         if (ese.ele) {
834                                 BM_select_history_store(bm, v_best);
835                         }
836                 }
837         }
838
839         if (do_fill && fill_uloop_pairs) {
840                 edbm_tagged_loop_pairs_do_fill_faces(bm, fill_uloop_pairs);
841                 MEM_freeN(fill_uloop_pairs);
842         }
843
844
845         if (totvert_orig == bm->totvert) {
846                 BKE_report(op->reports, RPT_ERROR, "No vertices could be ripped");
847                 return OPERATOR_CANCELLED;
848         }
849
850         return OPERATOR_FINISHED;
851 }
852
853 /**
854  * This is the main edge ripping function
855  */
856 static int edbm_rip_invoke__edge(bContext *C, wmOperator *op, const wmEvent *event)
857 {
858         const bool do_fill = RNA_boolean_get(op->ptr, "use_fill");
859         UnorderedLoopPair *fill_uloop_pairs = NULL;
860         Object *obedit = CTX_data_edit_object(C);
861         ARegion *ar = CTX_wm_region(C);
862         RegionView3D *rv3d = CTX_wm_region_view3d(C);
863         BMEditMesh *em = BMEdit_FromObject(obedit);
864         BMesh *bm = em->bm;
865         BMIter iter, eiter;
866         BMLoop *l;
867         BMEdge *e, *e2;
868         BMVert *v;
869         const int totedge_orig = bm->totedge;
870         float projectMat[4][4], fmval[3] = {event->mval[0], event->mval[1]};
871
872         EdgeLoopPair *eloop_pairs;
873
874         ED_view3d_ob_project_mat_get(rv3d, obedit, projectMat);
875
876         /* important this runs on the original selection, before tampering with tagging */
877         eloop_pairs = edbm_ripsel_looptag_helper(bm);
878
879         /* expand edge selection */
880         BM_ITER_MESH (v, &iter, bm, BM_VERTS_OF_MESH) {
881                 bool all_manifold;
882                 int totedge_manifold;  /* manifold, visible edges */
883                 int i;
884
885                 e2 = NULL;
886                 i = 0;
887                 totedge_manifold = 0;
888                 all_manifold = true;
889                 BM_ITER_ELEM (e, &eiter, v, BM_EDGES_OF_VERT) {
890
891                         if (!BM_edge_is_wire(e) &&
892                             !BM_elem_flag_test(e, BM_ELEM_HIDDEN))
893                         {
894                                 /* important to check selection rather then tag here
895                                  * else we get feedback loop */
896                                 if (BM_elem_flag_test(e, BM_ELEM_SELECT)) {
897                                         e2 = e;
898                                         i++;
899                                 }
900                                 totedge_manifold++;
901                         }
902
903                         /** #BM_vert_other_disk_edge has no hidden checks so don't check hidden here */
904                         if ((all_manifold == true) && (BM_edge_is_manifold(e) == false)) {
905                                 all_manifold = false;
906                         }
907                 }
908
909                 /* single edge, extend */
910                 if (i == 1 && e2->l) {
911                         /* note: if the case of 3 edges has one change in loop stepping,
912                          * if this becomes more involved we may be better off splitting
913                          * the 3 edge case into its own else-if branch */
914                         if ((totedge_manifold == 4 || totedge_manifold == 3) || (all_manifold == false)) {
915                                 BMLoop *l_a = e2->l;
916                                 BMLoop *l_b = l_a->radial_next;
917
918                                 /* find the best face to follow, this way the edge won't point away from
919                                  * the mouse when there are more then 4 (takes the shortest face fan around) */
920                                 l = (edbm_rip_edge_side_measure(e2, l_a, ar, projectMat, fmval) <
921                                      edbm_rip_edge_side_measure(e2, l_b, ar, projectMat, fmval)) ? l_a : l_b;
922
923                                 l = BM_face_other_edge_loop(l->f, e2, v);
924                                 /* important edge is manifold else we can be attempting to split off a fan that don't budge,
925                                  * not crashing but adds duplicate edge. */
926                                 if (BM_edge_is_manifold(l->e)) {
927                                         l = l->radial_next;
928
929                                         if (totedge_manifold != 3)
930                                                 l = BM_face_other_edge_loop(l->f, l->e, v);
931
932                                         if (l) {
933                                                 BLI_assert(!BM_elem_flag_test(l->e, BM_ELEM_TAG));
934                                                 BM_elem_flag_enable(l->e, BM_ELEM_TAG);
935                                         }
936                                 }
937                         }
938                         else {
939                                 e = BM_vert_other_disk_edge(v, e2);
940
941                                 if (e) {
942                                         BLI_assert(!BM_elem_flag_test(e, BM_ELEM_TAG));
943                                         BM_elem_flag_enable(e, BM_ELEM_TAG);
944                                 }
945                         }
946                 }
947         }
948
949         /* keep directly before edgesplit */
950         if (do_fill) {
951                 fill_uloop_pairs = edbm_tagged_loop_pairs_to_fill(bm);
952         }
953
954         if (!edbm_rip_call_edgesplit(em, op)) {
955                 if (fill_uloop_pairs) MEM_freeN(fill_uloop_pairs);
956                 return OPERATOR_CANCELLED;
957         }
958
959         /* note: the output of the bmesh operator is ignored, since we built
960          * the contiguous loop pairs to split already, its possible that some
961          * edge did not split even though it was tagged which would not work
962          * as expected (but not crash), however there are checks to ensure
963          * tagged edges will split. So far its not been an issue. */
964         edbm_ripsel_deselect_helper(bm, eloop_pairs,
965                                     ar, projectMat, fmval);
966         MEM_freeN(eloop_pairs);
967
968         if (do_fill && fill_uloop_pairs) {
969                 edbm_tagged_loop_pairs_do_fill_faces(bm, fill_uloop_pairs);
970                 MEM_freeN(fill_uloop_pairs);
971         }
972
973         if (totedge_orig == bm->totedge) {
974                 BKE_report(op->reports, RPT_ERROR, "No edges could be ripped");
975                 return OPERATOR_CANCELLED;
976         }
977
978         EDBM_selectmode_flush(em);
979
980         return OPERATOR_FINISHED;
981 }
982
983 /* based on mouse cursor position, it defines how is being ripped */
984 static int edbm_rip_invoke(bContext *C, wmOperator *op, const wmEvent *event)
985 {
986         Object *obedit = CTX_data_edit_object(C);
987         BMEditMesh *em = BMEdit_FromObject(obedit);
988         BMesh *bm = em->bm;
989         BMIter iter;
990         BMEdge *e;
991         int singlesel = (bm->totvertsel == 1 && bm->totedgesel == 0 && bm->totfacesel == 0);
992         int ret;
993
994         /* running in face mode hardly makes sense, so convert to region loop and rip */
995         if (bm->totfacesel) {
996                 /* highly nifty but hard to support since the operator can fail and we're left
997                  * with modified selection */
998                 // WM_operator_name_call(C, "MESH_OT_region_to_loop", WM_OP_INVOKE_DEFAULT, NULL);
999
1000                 BKE_report(op->reports, RPT_ERROR, "Cannot rip selected faces");
1001                 return OPERATOR_CANCELLED;
1002         }
1003
1004         /* note on selection:
1005          * When calling edge split we operate on tagged edges rather then selected
1006          * this is important because the edges to operate on are extended by one,
1007          * but the selection is left alone.
1008          *
1009          * After calling edge split - the duplicated edges have the same selection state as the
1010          * original, so all we do is de-select the far side from the mouse and we have a
1011          * useful selection for grabbing.
1012          */
1013
1014         /* BM_ELEM_SELECT --> BM_ELEM_TAG */
1015         BM_ITER_MESH (e, &iter, bm, BM_EDGES_OF_MESH) {
1016                 BM_elem_flag_set(e, BM_ELEM_TAG, BM_elem_flag_test(e, BM_ELEM_SELECT));
1017         }
1018
1019         /* split 2 main parts of this operator out into vertex and edge ripping */
1020         if (singlesel) {
1021                 ret = edbm_rip_invoke__vert(C, op, event);
1022         }
1023         else {
1024                 ret = edbm_rip_invoke__edge(C, op, event);
1025         }
1026
1027         if (ret == OPERATOR_CANCELLED) {
1028                 return OPERATOR_CANCELLED;
1029         }
1030
1031         BLI_assert(singlesel ? (bm->totvertsel > 0) : (bm->totedgesel > 0));
1032
1033         if (bm->totvertsel == 0) {
1034                 return OPERATOR_CANCELLED;
1035         }
1036
1037         EDBM_update_generic(em, true, true);
1038
1039         return OPERATOR_FINISHED;
1040 }
1041
1042
1043 void MESH_OT_rip(wmOperatorType *ot)
1044 {
1045         /* identifiers */
1046         ot->name = "Rip";
1047         ot->idname = "MESH_OT_rip";
1048         ot->description = "Disconnect vertex or edges from connected geometry";
1049
1050         /* api callbacks */
1051         ot->invoke = edbm_rip_invoke;
1052         ot->poll = EM_view3d_poll;
1053
1054         /* flags */
1055         ot->flag = OPTYPE_REGISTER | OPTYPE_UNDO;
1056
1057         /* to give to transform */
1058         Transform_Properties(ot, P_PROPORTIONAL);
1059         RNA_def_boolean(ot->srna, "mirror", false, "Mirror Editing", "");
1060         RNA_def_boolean(ot->srna, "use_fill", false, "Fill", "Fill the ripped region");
1061 }