Merge branch 'master' into blender2.8
[blender.git] / source / blender / blenkernel / intern / mesh_validate.c
1 /*
2  * ***** BEGIN GPL LICENSE BLOCK *****
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License
6  * as published by the Free Software Foundation; either version 2
7  * of the License, or (at your option) any later version.
8  *
9  * This program is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12  * GNU General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software Foundation,
16  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
17  *
18  * The Original Code is Copyright (C) 2011 Blender Foundation.
19  * All rights reserved.
20  *
21  * ***** END GPL LICENSE BLOCK *****
22  */
23
24 /** \file blender/blenkernel/intern/mesh_validate.c
25  *  \ingroup bke
26  */
27
28
29 #include <stdio.h>
30 #include <stdlib.h>
31 #include <string.h>
32 #include <limits.h>
33
34 #include "DNA_mesh_types.h"
35 #include "DNA_meshdata_types.h"
36 #include "DNA_object_types.h"
37
38 #include "BLI_sys_types.h"
39
40 #include "BLI_utildefines.h"
41 #include "BLI_edgehash.h"
42 #include "BLI_math_base.h"
43 #include "BLI_math_vector.h"
44
45 #include "BKE_deform.h"
46 #include "BKE_DerivedMesh.h"
47 #include "BKE_mesh.h"
48
49 #include "DEG_depsgraph.h"
50
51 #include "MEM_guardedalloc.h"
52
53 /* loop v/e are unsigned, so using max uint_32 value as invalid marker... */
54 #define INVALID_LOOP_EDGE_MARKER 4294967295u
55
56
57 /** \name Internal functions
58  * \{ */
59
60 typedef union {
61         uint32_t verts[2];
62         int64_t edval;
63 } EdgeUUID;
64
65 typedef struct SortFace {
66         EdgeUUID                es[4];
67         unsigned int    index;
68 } SortFace;
69
70 /* Used to detect polys (faces) using exactly the same vertices. */
71 /* Used to detect loops used by no (disjoint) or more than one (intersect) polys. */
72 typedef struct SortPoly {
73         int *verts;
74         int numverts;
75         int loopstart;
76         unsigned int index;
77         bool invalid;  /* Poly index. */
78 } SortPoly;
79
80 static void edge_store_assign(uint32_t verts[2],  const uint32_t v1, const uint32_t v2)
81 {
82         if (v1 < v2) {
83                 verts[0] = v1;
84                 verts[1] = v2;
85         }
86         else {
87                 verts[0] = v2;
88                 verts[1] = v1;
89         }
90 }
91
92 static void edge_store_from_mface_quad(EdgeUUID es[4], MFace *mf)
93 {
94         edge_store_assign(es[0].verts, mf->v1, mf->v2);
95         edge_store_assign(es[1].verts, mf->v2, mf->v3);
96         edge_store_assign(es[2].verts, mf->v3, mf->v4);
97         edge_store_assign(es[3].verts, mf->v4, mf->v1);
98 }
99
100 static void edge_store_from_mface_tri(EdgeUUID es[4], MFace *mf)
101 {
102         edge_store_assign(es[0].verts, mf->v1, mf->v2);
103         edge_store_assign(es[1].verts, mf->v2, mf->v3);
104         edge_store_assign(es[2].verts, mf->v3, mf->v1);
105         es[3].verts[0] = es[3].verts[1] = UINT_MAX;
106 }
107
108 static int int64_cmp(const void *v1, const void *v2)
109 {
110         const int64_t x1 = *(const int64_t *)v1;
111         const int64_t x2 = *(const int64_t *)v2;
112
113         if (x1 > x2) {
114                 return 1;
115         }
116         else if (x1 < x2) {
117                 return -1;
118         }
119
120         return 0;
121 }
122
123 static int search_face_cmp(const void *v1, const void *v2)
124 {
125         const SortFace *sfa = v1, *sfb = v2;
126
127         if (sfa->es[0].edval > sfb->es[0].edval) {
128                 return 1;
129         }
130         else if (sfa->es[0].edval < sfb->es[0].edval) {
131                 return -1;
132         }
133
134         else if (sfa->es[1].edval > sfb->es[1].edval) {
135                 return 1;
136         }
137         else if (sfa->es[1].edval < sfb->es[1].edval) {
138                 return -1;
139         }
140
141         else if (sfa->es[2].edval > sfb->es[2].edval) {
142                 return 1;
143         }
144         else if (sfa->es[2].edval < sfb->es[2].edval) {
145                 return -1;
146         }
147
148         else if (sfa->es[3].edval > sfb->es[3].edval) {
149                 return 1;
150         }
151         else if (sfa->es[3].edval < sfb->es[3].edval) {
152                 return -1;
153         }
154
155         return 0;
156 }
157
158 /* TODO check there is not some standard define of this somewhere! */
159 static int int_cmp(const void *v1, const void *v2)
160 {
161         return *(int *)v1 > *(int *)v2 ? 1 : *(int *)v1 < *(int *)v2 ? -1 : 0;
162 }
163
164 static int search_poly_cmp(const void *v1, const void *v2)
165 {
166         const SortPoly *sp1 = v1, *sp2 = v2;
167         const int max_idx = sp1->numverts > sp2->numverts ? sp2->numverts : sp1->numverts;
168         int idx;
169
170         /* Reject all invalid polys at end of list! */
171         if (sp1->invalid || sp2->invalid)
172                 return sp1->invalid ? (sp2->invalid ? 0 : 1) : -1;
173         /* Else, sort on first non-equal verts (remember verts of valid polys are sorted). */
174         for (idx = 0; idx < max_idx; idx++) {
175                 const int v1_i = sp1->verts[idx];
176                 const int v2_i = sp2->verts[idx];
177                 if (v1_i != v2_i) {
178                         return (v1_i > v2_i) ? 1 : -1;
179                 }
180         }
181         return sp1->numverts > sp2->numverts ? 1 : sp1->numverts < sp2->numverts ? -1 : 0;
182 }
183
184 static int search_polyloop_cmp(const void *v1, const void *v2)
185 {
186         const SortPoly *sp1 = v1, *sp2 = v2;
187
188         /* Reject all invalid polys at end of list! */
189         if (sp1->invalid || sp2->invalid)
190                 return sp1->invalid && sp2->invalid ? 0 : sp1->invalid ? 1 : -1;
191         /* Else, sort on loopstart. */
192         return sp1->loopstart > sp2->loopstart ? 1 : sp1->loopstart < sp2->loopstart ? -1 : 0;
193 }
194 /** \} */
195
196
197
198 /* -------------------------------------------------------------------- */
199
200 /** \name Mesh Validation
201  * \{ */
202
203 #define PRINT_MSG(...) (void) \
204         ( \
205          ((do_verbose) ? printf(__VA_ARGS__) : 0))
206
207 #define PRINT_ERR(...) (void) \
208         (is_valid = false, \
209          ((do_verbose) ? printf(__VA_ARGS__) : 0))
210
211 /**
212  * Validate the mesh, \a do_fixes requires \a mesh to be non-null.
213  *
214  * \return false if no changes needed to be made.
215  */
216 bool BKE_mesh_validate_arrays(Mesh *mesh,
217                               MVert *mverts, unsigned int totvert,
218                               MEdge *medges, unsigned int totedge,
219                               MFace *mfaces, unsigned int totface,
220                               MLoop *mloops, unsigned int totloop,
221                               MPoly *mpolys, unsigned int totpoly,
222                               MDeformVert *dverts, /* assume totvert length */
223                               const bool do_verbose, const bool do_fixes,
224                               bool *r_changed)
225 {
226 #   define REMOVE_EDGE_TAG(_me) { _me->v2 = _me->v1; free_flag.edges = do_fixes; } (void)0
227 #   define IS_REMOVED_EDGE(_me) (_me->v2 == _me->v1)
228
229 #   define REMOVE_LOOP_TAG(_ml) { _ml->e = INVALID_LOOP_EDGE_MARKER; free_flag.polyloops = do_fixes; } (void)0
230 #   define REMOVE_POLY_TAG(_mp) { _mp->totloop *= -1; free_flag.polyloops = do_fixes; } (void)0
231
232         MVert *mv = mverts;
233         MEdge *me;
234         MLoop *ml;
235         MPoly *mp;
236         unsigned int i, j;
237         int *v;
238
239         bool is_valid = true;
240
241         union {
242                 struct {
243                         int verts : 1;
244                         int verts_weight : 1;
245                         int loops_edge : 1;
246                 };
247                 int as_flag;
248         } fix_flag;
249
250         union {
251                 struct {
252                         int edges : 1;
253                         int faces : 1;
254                         /* This regroups loops and polys! */
255                         int polyloops : 1;
256                         int mselect : 1;
257                 };
258                 int as_flag;
259         } free_flag;
260
261         union {
262                 struct {
263                         int edges : 1;
264                 };
265                 int as_flag;
266         } recalc_flag;
267
268         EdgeHash *edge_hash = BLI_edgehash_new_ex(__func__, totedge);
269
270         BLI_assert(!(do_fixes && mesh == NULL));
271
272         fix_flag.as_flag = 0;
273         free_flag.as_flag = 0;
274         recalc_flag.as_flag = 0;
275
276         PRINT_MSG("%s: verts(%u), edges(%u), loops(%u), polygons(%u)\n",
277                   __func__, totvert, totedge, totloop, totpoly);
278
279         if (totedge == 0 && totpoly != 0) {
280                 PRINT_ERR("\tLogical error, %u polygons and 0 edges\n", totpoly);
281                 recalc_flag.edges = do_fixes;
282         }
283
284         for (i = 0; i < totvert; i++, mv++) {
285                 bool fix_normal = true;
286
287                 for (j = 0; j < 3; j++) {
288                         if (!isfinite(mv->co[j])) {
289                                 PRINT_ERR("\tVertex %u: has invalid coordinate\n", i);
290
291                                 if (do_fixes) {
292                                         zero_v3(mv->co);
293
294                                         fix_flag.verts = true;
295                                 }
296                         }
297
298                         if (mv->no[j] != 0)
299                                 fix_normal = false;
300                 }
301
302                 if (fix_normal) {
303                         PRINT_ERR("\tVertex %u: has zero normal, assuming Z-up normal\n", i);
304                         if (do_fixes) {
305                                 mv->no[2] = SHRT_MAX;
306                                 fix_flag.verts = true;
307                         }
308                 }
309         }
310
311         for (i = 0, me = medges; i < totedge; i++, me++) {
312                 bool remove = false;
313
314                 if (me->v1 == me->v2) {
315                         PRINT_ERR("\tEdge %u: has matching verts, both %u\n", i, me->v1);
316                         remove = do_fixes;
317                 }
318                 if (me->v1 >= totvert) {
319                         PRINT_ERR("\tEdge %u: v1 index out of range, %u\n", i, me->v1);
320                         remove = do_fixes;
321                 }
322                 if (me->v2 >= totvert) {
323                         PRINT_ERR("\tEdge %u: v2 index out of range, %u\n", i, me->v2);
324                         remove = do_fixes;
325                 }
326
327                 if ((me->v1 != me->v2) && BLI_edgehash_haskey(edge_hash, me->v1, me->v2)) {
328                         PRINT_ERR("\tEdge %u: is a duplicate of %d\n", i,
329                                   GET_INT_FROM_POINTER(BLI_edgehash_lookup(edge_hash, me->v1, me->v2)));
330                         remove = do_fixes;
331                 }
332
333                 if (remove == false) {
334                         if (me->v1 != me->v2) {
335                                 BLI_edgehash_insert(edge_hash, me->v1, me->v2, SET_INT_IN_POINTER(i));
336                         }
337                 }
338                 else {
339                         REMOVE_EDGE_TAG(me);
340                 }
341         }
342
343         if (mfaces && !mpolys) {
344 #               define REMOVE_FACE_TAG(_mf) { _mf->v3 = 0; free_flag.faces = do_fixes; } (void)0
345 #               define CHECK_FACE_VERT_INDEX(a, b) \
346                                         if (mf->a == mf->b) { \
347                                                 PRINT_ERR("    face %u: verts invalid, " STRINGIFY(a) "/" STRINGIFY(b) " both %u\n", i, mf->a); \
348                                                 remove = do_fixes; \
349                                         } (void)0
350 #               define CHECK_FACE_EDGE(a, b) \
351                                         if (!BLI_edgehash_haskey(edge_hash, mf->a, mf->b)) { \
352                                                 PRINT_ERR("    face %u: edge " STRINGIFY(a) "/" STRINGIFY(b) \
353                                                           " (%u,%u) is missing edge data\n", i, mf->a, mf->b); \
354                                                 recalc_flag.edges = do_fixes; \
355                                         } (void)0
356
357                 MFace *mf;
358                 MFace *mf_prev;
359
360                 SortFace *sort_faces = MEM_callocN(sizeof(SortFace) * totface, "search faces");
361                 SortFace *sf;
362                 SortFace *sf_prev;
363                 unsigned int totsortface = 0;
364
365                 PRINT_ERR("No Polys, only tesselated Faces\n");
366
367                 for (i = 0, mf = mfaces, sf = sort_faces; i < totface; i++, mf++) {
368                         bool remove = false;
369                         int fidx;
370                         unsigned int fv[4];
371
372                         fidx = mf->v4 ? 3 : 2;
373                         do {
374                                 fv[fidx] = *(&(mf->v1) + fidx);
375                                 if (fv[fidx] >= totvert) {
376                                         PRINT_ERR("\tFace %u: 'v%d' index out of range, %u\n", i, fidx + 1, fv[fidx]);
377                                         remove = do_fixes;
378                                 }
379                         } while (fidx--);
380
381                         if (remove == false) {
382                                 if (mf->v4) {
383                                         CHECK_FACE_VERT_INDEX(v1, v2);
384                                         CHECK_FACE_VERT_INDEX(v1, v3);
385                                         CHECK_FACE_VERT_INDEX(v1, v4);
386
387                                         CHECK_FACE_VERT_INDEX(v2, v3);
388                                         CHECK_FACE_VERT_INDEX(v2, v4);
389
390                                         CHECK_FACE_VERT_INDEX(v3, v4);
391                                 }
392                                 else {
393                                         CHECK_FACE_VERT_INDEX(v1, v2);
394                                         CHECK_FACE_VERT_INDEX(v1, v3);
395
396                                         CHECK_FACE_VERT_INDEX(v2, v3);
397                                 }
398
399                                 if (remove == false) {
400                                         if (totedge) {
401                                                 if (mf->v4) {
402                                                         CHECK_FACE_EDGE(v1, v2);
403                                                         CHECK_FACE_EDGE(v2, v3);
404                                                         CHECK_FACE_EDGE(v3, v4);
405                                                         CHECK_FACE_EDGE(v4, v1);
406                                                 }
407                                                 else {
408                                                         CHECK_FACE_EDGE(v1, v2);
409                                                         CHECK_FACE_EDGE(v2, v3);
410                                                         CHECK_FACE_EDGE(v3, v1);
411                                                 }
412                                         }
413
414                                         sf->index = i;
415
416                                         if (mf->v4) {
417                                                 edge_store_from_mface_quad(sf->es, mf);
418
419                                                 qsort(sf->es, 4, sizeof(int64_t), int64_cmp);
420                                         }
421                                         else {
422                                                 edge_store_from_mface_tri(sf->es, mf);
423                                                 qsort(sf->es, 3, sizeof(int64_t), int64_cmp);
424                                         }
425
426                                         totsortface++;
427                                         sf++;
428                                 }
429                         }
430
431                         if (remove) {
432                                 REMOVE_FACE_TAG(mf);
433                         }
434                 }
435
436                 qsort(sort_faces, totsortface, sizeof(SortFace), search_face_cmp);
437
438                 sf = sort_faces;
439                 sf_prev = sf;
440                 sf++;
441
442                 for (i = 1; i < totsortface; i++, sf++) {
443                         bool remove = false;
444
445                         /* on a valid mesh, code below will never run */
446                         if (memcmp(sf->es, sf_prev->es, sizeof(sf_prev->es)) == 0) {
447                                 mf = mfaces + sf->index;
448
449                                 if (do_verbose) {
450                                         mf_prev = mfaces + sf_prev->index;
451
452                                         if (mf->v4) {
453                                                 PRINT_ERR("\tFace %u & %u: are duplicates (%u,%u,%u,%u) (%u,%u,%u,%u)\n",
454                                                           sf->index, sf_prev->index, mf->v1, mf->v2, mf->v3, mf->v4,
455                                                           mf_prev->v1, mf_prev->v2, mf_prev->v3, mf_prev->v4);
456                                         }
457                                         else {
458                                                 PRINT_ERR("\tFace %u & %u: are duplicates (%u,%u,%u) (%u,%u,%u)\n",
459                                                           sf->index, sf_prev->index, mf->v1, mf->v2, mf->v3,
460                                                           mf_prev->v1, mf_prev->v2, mf_prev->v3);
461                                         }
462                                 }
463
464                                 remove = do_fixes;
465                         }
466                         else {
467                                 sf_prev = sf;
468                         }
469
470                         if (remove) {
471                                 REMOVE_FACE_TAG(mf);
472                         }
473                 }
474
475                 MEM_freeN(sort_faces);
476
477 #               undef REMOVE_FACE_TAG
478 #               undef CHECK_FACE_VERT_INDEX
479 #               undef CHECK_FACE_EDGE
480         }
481
482         /* Checking loops and polys is a bit tricky, as they are quite intricate...
483          *
484          * Polys must have:
485          * - a valid loopstart value.
486          * - a valid totloop value (>= 3 and loopstart+totloop < me.totloop).
487          *
488          * Loops must have:
489          * - a valid v value.
490          * - a valid e value (corresponding to the edge it defines with the next loop in poly).
491          *
492          * Also, loops not used by polys can be discarded.
493          * And "intersecting" loops (i.e. loops used by more than one poly) are invalid,
494          * so be sure to leave at most one poly per loop!
495          */
496         {
497                 SortPoly *sort_polys = MEM_callocN(sizeof(SortPoly) * totpoly, "mesh validate's sort_polys");
498                 SortPoly *prev_sp, *sp = sort_polys;
499                 int prev_end;
500
501                 for (i = 0, mp = mpolys; i < totpoly; i++, mp++, sp++) {
502                         sp->index = i;
503
504                         if (mp->loopstart < 0 || mp->totloop < 3) {
505                                 /* Invalid loop data. */
506                                 PRINT_ERR("\tPoly %u is invalid (loopstart: %d, totloop: %d)\n",
507                                           sp->index, mp->loopstart, mp->totloop);
508                                 sp->invalid = true;
509                         }
510                         else if (mp->loopstart + mp->totloop > totloop) {
511                                 /* Invalid loop data. */
512                                 PRINT_ERR("\tPoly %u uses loops out of range (loopstart: %d, loopend: %d, max nbr of loops: %u)\n",
513                                           sp->index, mp->loopstart, mp->loopstart + mp->totloop - 1, totloop - 1);
514                                 sp->invalid = true;
515                         }
516                         else {
517                                 /* Poly itself is valid, for now. */
518                                 int v1, v2; /* v1 is prev loop vert idx, v2 is current loop one. */
519                                 sp->invalid = false;
520                                 sp->verts = v = MEM_mallocN(sizeof(int) * mp->totloop, "Vert idx of SortPoly");
521                                 sp->numverts = mp->totloop;
522                                 sp->loopstart = mp->loopstart;
523
524                                 /* Ideally we would only have to do that once on all vertices before we start checking each poly, but
525                                  * several polys can use same vert, so we have to ensure here all verts of current poly are cleared. */
526                                 for (j = 0, ml = &mloops[sp->loopstart]; j < mp->totloop; j++, ml++) {
527                                         if (ml->v < totvert) {
528                                                 mverts[ml->v].flag &= ~ME_VERT_TMP_TAG;
529                                         }
530                                 }
531
532                                 /* Test all poly's loops' vert idx. */
533                                 for (j = 0, ml = &mloops[sp->loopstart]; j < mp->totloop; j++, ml++, v++) {
534                                         if (ml->v >= totvert) {
535                                                 /* Invalid vert idx. */
536                                                 PRINT_ERR("\tLoop %u has invalid vert reference (%u)\n", sp->loopstart + j, ml->v);
537                                                 sp->invalid = true;
538                                         }
539                                         else if (mverts[ml->v].flag & ME_VERT_TMP_TAG) {
540                                                 PRINT_ERR("\tPoly %u has duplicated vert reference at corner (%u)\n", i, j);
541                                                 sp->invalid = true;
542                                         }
543                                         else {
544                                                 mverts[ml->v].flag |= ME_VERT_TMP_TAG;
545                                         }
546                                         *v = ml->v;
547                                 }
548
549                                 if (sp->invalid)
550                                         continue;
551
552                                 /* Test all poly's loops. */
553                                 for (j = 0, ml = &mloops[sp->loopstart]; j < mp->totloop; j++, ml++) {
554                                         v1 = ml->v;
555                                         v2 = mloops[sp->loopstart + (j + 1) % mp->totloop].v;
556                                         if (!BLI_edgehash_haskey(edge_hash, v1, v2)) {
557                                                 /* Edge not existing. */
558                                                 PRINT_ERR("\tPoly %u needs missing edge (%d, %d)\n", sp->index, v1, v2);
559                                                 if (do_fixes)
560                                                         recalc_flag.edges = true;
561                                                 else
562                                                         sp->invalid = true;
563                                         }
564                                         else if (ml->e >= totedge) {
565                                                 /* Invalid edge idx.
566                                                  * We already know from previous text that a valid edge exists, use it (if allowed)! */
567                                                 if (do_fixes) {
568                                                         int prev_e = ml->e;
569                                                         ml->e = GET_INT_FROM_POINTER(BLI_edgehash_lookup(edge_hash, v1, v2));
570                                                         fix_flag.loops_edge = true;
571                                                         PRINT_ERR("\tLoop %u has invalid edge reference (%d), fixed using edge %u\n",
572                                                                   sp->loopstart + j, prev_e, ml->e);
573                                                 }
574                                                 else {
575                                                         PRINT_ERR("\tLoop %u has invalid edge reference (%u)\n", sp->loopstart + j, ml->e);
576                                                         sp->invalid = true;
577                                                 }
578                                         }
579                                         else {
580                                                 me = &medges[ml->e];
581                                                 if (IS_REMOVED_EDGE(me) || !((me->v1 == v1 && me->v2 == v2) || (me->v1 == v2 && me->v2 == v1))) {
582                                                         /* The pointed edge is invalid (tagged as removed, or vert idx mismatch),
583                                                          * and we already know from previous test that a valid one exists, use it (if allowed)! */
584                                                         if (do_fixes) {
585                                                                 int prev_e = ml->e;
586                                                                 ml->e = GET_INT_FROM_POINTER(BLI_edgehash_lookup(edge_hash, v1, v2));
587                                                                 fix_flag.loops_edge = true;
588                                                                 PRINT_ERR("\tPoly %u has invalid edge reference (%d, is_removed: %d), fixed using edge %u\n",
589                                                                           sp->index, prev_e, IS_REMOVED_EDGE(me), ml->e);
590                                                         }
591                                                         else {
592                                                                 PRINT_ERR("\tPoly %u has invalid edge reference (%u)\n", sp->index, ml->e);
593                                                                 sp->invalid = true;
594                                                         }
595                                                 }
596                                         }
597                                 }
598
599                                 if (!sp->invalid) {
600                                         /* Needed for checking polys using same verts below. */
601                                         qsort(sp->verts, sp->numverts, sizeof(int), int_cmp);
602                                 }
603                         }
604                 }
605
606                 /* Second check pass, testing polys using the same verts. */
607                 qsort(sort_polys, totpoly, sizeof(SortPoly), search_poly_cmp);
608                 sp = prev_sp = sort_polys;
609                 sp++;
610
611                 for (i = 1; i < totpoly; i++, sp++) {
612                         int p1_nv = sp->numverts, p2_nv = prev_sp->numverts;
613                         const int *p1_v = sp->verts, *p2_v = prev_sp->verts;
614
615                         if (sp->invalid) {
616                                 /* break, because all known invalid polys have been put at the end by qsort with search_poly_cmp. */
617                                 break;
618                         }
619
620                         /* Test same polys. */
621 #if 0
622                         {
623                                 bool p1_sub = true, p2_sub = true;
624
625                                 /* NOTE: This performs a sub-set test. */
626                                 /* XXX This (and the sort of verts list) is better than systematic
627                                  *     search of all verts of one list into the other if lists have
628                                  *     a fair amount of elements.
629                                  *     Not sure however it's worth it in this case?
630                                  *     But as we also need sorted vert list to check verts multi-used
631                                  *     (in first pass of checks)... */
632                                 /* XXX If we consider only "equal" polys (i.e. using exactly same set of verts)
633                                  *     as invalid, better to replace this by a simple memory cmp... */
634                                 while ((p1_nv && p2_nv) && (p1_sub || p2_sub)) {
635                                         if (*p1_v < *p2_v) {
636                                                 if (p1_sub)
637                                                         p1_sub = false;
638                                                 p1_nv--;
639                                                 p1_v++;
640                                         }
641                                         else if (*p2_v < *p1_v) {
642                                                 if (p2_sub)
643                                                         p2_sub = false;
644                                                 p2_nv--;
645                                                 p2_v++;
646                                         }
647                                         else {
648                                                 /* Equality, both next verts. */
649                                                 p1_nv--;
650                                                 p2_nv--;
651                                                 p1_v++;
652                                                 p2_v++;
653                                         }
654                                 }
655                                 if (p1_nv && p1_sub)
656                                         p1_sub = false;
657                                 else if (p2_nv && p2_sub)
658                                         p2_sub = false;
659
660                                 if (p1_sub && p2_sub) {
661                                         PRINT("\tPolys %u and %u use same vertices, considering poly %u as invalid.\n",
662                                                   prev_sp->index, sp->index, sp->index);
663                                         sp->invalid = true;
664                                 }
665                                 /* XXX In fact, these might be valid? :/ */
666                                 else if (p1_sub) {
667                                         PRINT("\t%u is a sub-poly of %u, considering it as invalid.\n", sp->index, prev_sp->index);
668                                         sp->invalid = true;
669                                 }
670                                 else if (p2_sub) {
671                                         PRINT("\t%u is a sub-poly of %u, considering it as invalid.\n", prev_sp->index, sp->index);
672                                         prev_sp->invalid = true;
673                                         prev_sp = sp; /* sp is new reference poly. */
674                                 }
675                         }
676 #else
677                         if ((p1_nv == p2_nv) && (memcmp(p1_v, p2_v, p1_nv * sizeof(*p1_v)) == 0)) {
678                                 if (do_verbose) {
679                                         PRINT_ERR("\tPolys %u and %u use same vertices (%d",
680                                                   prev_sp->index, sp->index, *p1_v);
681                                         for (j = 1; j < p1_nv; j++)
682                                                 PRINT_ERR(", %d", p1_v[j]);
683                                         PRINT_ERR("), considering poly %u as invalid.\n", sp->index);
684                                 }
685                                 else {
686                                         is_valid = false;
687                                 }
688                                 sp->invalid = true;
689                         }
690 #endif
691                         else {
692                                 prev_sp = sp;
693                         }
694                 }
695
696                 /* Third check pass, testing loops used by none or more than one poly. */
697                 qsort(sort_polys, totpoly, sizeof(SortPoly), search_polyloop_cmp);
698                 sp = sort_polys;
699                 prev_sp = NULL;
700                 prev_end = 0;
701                 for (i = 0; i < totpoly; i++, sp++) {
702                         /* Free this now, we don't need it anymore, and avoid us another loop! */
703                         if (sp->verts)
704                                 MEM_freeN(sp->verts);
705
706                         /* Note above prev_sp: in following code, we make sure it is always valid poly (or NULL). */
707                         if (sp->invalid) {
708                                 if (do_fixes) {
709                                         REMOVE_POLY_TAG((&mpolys[sp->index]));
710                                         /* DO NOT REMOVE ITS LOOPS!!!
711                                          * As already invalid polys are at the end of the SortPoly list, the loops they
712                                          * were the only users have already been tagged as "to remove" during previous
713                                          * iterations, and we don't want to remove some loops that may be used by
714                                          * another valid poly! */
715                                 }
716                         }
717                         /* Test loops users. */
718                         else {
719                                 /* Unused loops. */
720                                 if (prev_end < sp->loopstart) {
721                                         for (j = prev_end, ml = &mloops[prev_end]; j < sp->loopstart; j++, ml++) {
722                                                 PRINT_ERR("\tLoop %u is unused.\n", j);
723                                                 if (do_fixes)
724                                                         REMOVE_LOOP_TAG(ml);
725                                         }
726                                         prev_end = sp->loopstart + sp->numverts;
727                                         prev_sp = sp;
728                                 }
729                                 /* Multi-used loops. */
730                                 else if (prev_end > sp->loopstart) {
731                                         PRINT_ERR("\tPolys %u and %u share loops from %d to %d, considering poly %u as invalid.\n",
732                                                   prev_sp->index, sp->index, sp->loopstart, prev_end, sp->index);
733                                         if (do_fixes) {
734                                                 REMOVE_POLY_TAG((&mpolys[sp->index]));
735                                                 /* DO NOT REMOVE ITS LOOPS!!!
736                                                  * They might be used by some next, valid poly!
737                                                  * Just not updating prev_end/prev_sp vars is enough to ensure the loops
738                                                  * effectively no more needed will be marked as "to be removed"! */
739                                         }
740                                 }
741                                 else {
742                                         prev_end = sp->loopstart + sp->numverts;
743                                         prev_sp = sp;
744                                 }
745                         }
746                 }
747                 /* We may have some remaining unused loops to get rid of! */
748                 if (prev_end < totloop) {
749                         for (j = prev_end, ml = &mloops[prev_end]; j < totloop; j++, ml++) {
750                                 PRINT_ERR("\tLoop %u is unused.\n", j);
751                                 if (do_fixes)
752                                         REMOVE_LOOP_TAG(ml);
753                         }
754                 }
755
756                 MEM_freeN(sort_polys);
757         }
758
759         BLI_edgehash_free(edge_hash, NULL);
760
761         /* fix deform verts */
762         if (dverts) {
763                 MDeformVert *dv;
764                 for (i = 0, dv = dverts; i < totvert; i++, dv++) {
765                         MDeformWeight *dw;
766
767                         for (j = 0, dw = dv->dw; j < dv->totweight; j++, dw++) {
768                                 /* note, greater than max defgroups is accounted for in our code, but not < 0 */
769                                 if (!isfinite(dw->weight)) {
770                                         PRINT_ERR("\tVertex deform %u, group %d has weight: %f\n", i, dw->def_nr, dw->weight);
771                                         if (do_fixes) {
772                                                 dw->weight = 0.0f;
773                                                 fix_flag.verts_weight = true;
774                                         }
775                                 }
776                                 else if (dw->weight < 0.0f || dw->weight > 1.0f) {
777                                         PRINT_ERR("\tVertex deform %u, group %d has weight: %f\n", i, dw->def_nr, dw->weight);
778                                         if (do_fixes) {
779                                                 CLAMP(dw->weight, 0.0f, 1.0f);
780                                                 fix_flag.verts_weight = true;
781                                         }
782                                 }
783
784                                 if (dw->def_nr < 0) {
785                                         PRINT_ERR("\tVertex deform %u, has invalid group %d\n", i, dw->def_nr);
786                                         if (do_fixes) {
787                                                 defvert_remove_group(dv, dw);
788                                                 fix_flag.verts_weight = true;
789
790                                                 if (dv->dw) {
791                                                         /* re-allocated, the new values compensate for stepping
792                                                          * within the for loop and may not be valid */
793                                                         j--;
794                                                         dw = dv->dw + j;
795
796                                                 }
797                                                 else { /* all freed */
798                                                         break;
799                                                 }
800                                         }
801                                 }
802                         }
803                 }
804         }
805
806 #   undef REMOVE_EDGE_TAG
807 #   undef IS_REMOVED_EDGE
808 #   undef REMOVE_LOOP_TAG
809 #   undef REMOVE_POLY_TAG
810
811         if (mesh) {
812                 if (free_flag.faces) {
813                         BKE_mesh_strip_loose_faces(mesh);
814                 }
815
816                 if (free_flag.polyloops) {
817                         BKE_mesh_strip_loose_polysloops(mesh);
818                 }
819
820                 if (free_flag.edges) {
821                         BKE_mesh_strip_loose_edges(mesh);
822                 }
823
824                 if (recalc_flag.edges) {
825                         BKE_mesh_calc_edges(mesh, true, false);
826                 }
827         }
828
829         if (mesh && mesh->mselect) {
830                 MSelect *msel;
831
832                 for (i = 0, msel = mesh->mselect; i < mesh->totselect; i++, msel++) {
833                         int tot_elem = 0;
834
835                         if (msel->index < 0) {
836                                 PRINT_ERR("\tMesh select element %u type %d index is negative, "
837                                           "resetting selection stack.\n", i, msel->type);
838                                 free_flag.mselect = do_fixes;
839                                 break;
840                         }
841
842                         switch (msel->type) {
843                                 case ME_VSEL:
844                                         tot_elem = mesh->totvert;
845                                         break;
846                                 case ME_ESEL:
847                                         tot_elem = mesh->totedge;
848                                         break;
849                                 case ME_FSEL:
850                                         tot_elem = mesh->totface;
851                                         break;
852                         }
853
854                         if (msel->index > tot_elem) {
855                                 PRINT_ERR("\tMesh select element %u type %d index %d is larger than data array size %d, "
856                                           "resetting selection stack.\n", i, msel->type, msel->index, tot_elem);
857
858                                 free_flag.mselect = do_fixes;
859                                 break;
860                         }
861                 }
862
863                 if (free_flag.mselect) {
864                         MEM_freeN(mesh->mselect);
865                         mesh->mselect = NULL;
866                         mesh->totselect = 0;
867                 }
868         }
869
870         PRINT_MSG("%s: finished\n\n", __func__);
871
872         *r_changed = (fix_flag.as_flag || free_flag.as_flag || recalc_flag.as_flag);
873
874         BLI_assert((*r_changed == false) || (do_fixes == true));
875
876         return is_valid;
877 }
878
879 static bool mesh_validate_customdata(CustomData *data, CustomDataMask mask,
880                                      const bool do_verbose, const bool do_fixes,
881                                      bool *r_change)
882 {
883         bool is_valid = true;
884         bool has_fixes = false;
885         int i = 0;
886
887         PRINT_MSG("%s: Checking %d CD layers...\n", __func__, data->totlayer);
888
889         while (i < data->totlayer) {
890                 CustomDataLayer *layer = &data->layers[i];
891                 bool ok = true;
892
893                 if (CustomData_layertype_is_singleton(layer->type)) {
894                         const int layer_tot = CustomData_number_of_layers(data, layer->type);
895                         if (layer_tot > 1) {
896                                 PRINT_ERR("\tCustomDataLayer type %d is a singleton, found %d in Mesh structure\n",
897                                           layer->type, layer_tot);
898                                 ok = false;
899                         }
900                 }
901
902                 if (mask != 0) {
903                         CustomDataMask layer_typemask = CD_TYPE_AS_MASK(layer->type);
904                         if ((layer_typemask & mask) == 0) {
905                                 PRINT_ERR("\tCustomDataLayer type %d which isn't in the mask\n",
906                                           layer->type);
907                                 ok = false;
908                         }
909                 }
910
911                 if (ok == false) {
912                         if (do_fixes) {
913                                 CustomData_free_layer(data, layer->type, 0, i);
914                                 has_fixes = true;
915                         }
916                 }
917
918                 if (ok)
919                         i++;
920         }
921
922         PRINT_MSG("%s: Finished (is_valid=%d)\n\n", __func__, (int)!has_fixes);
923
924         *r_change = has_fixes;
925
926         return is_valid;
927 }
928
929 /**
930  * \returns is_valid.
931  */
932 bool BKE_mesh_validate_all_customdata(CustomData *vdata, CustomData *edata,
933                                       CustomData *ldata, CustomData *pdata,
934                                       const bool check_meshmask,
935                                       const bool do_verbose, const bool do_fixes,
936                                       bool *r_change)
937 {
938         bool is_valid = true;
939         bool is_change_v, is_change_e, is_change_l, is_change_p;
940         int tot_uvloop, tot_vcolloop;
941         CustomDataMask mask = check_meshmask ? CD_MASK_MESH : 0;
942
943         is_valid &= mesh_validate_customdata(vdata, mask, do_verbose, do_fixes, &is_change_v);
944         is_valid &= mesh_validate_customdata(edata, mask, do_verbose, do_fixes, &is_change_e);
945         is_valid &= mesh_validate_customdata(ldata, mask, do_verbose, do_fixes, &is_change_l);
946         is_valid &= mesh_validate_customdata(pdata, mask, do_verbose, do_fixes, &is_change_p);
947
948         tot_uvloop = CustomData_number_of_layers(ldata, CD_MLOOPUV);
949         tot_vcolloop = CustomData_number_of_layers(ldata, CD_MLOOPCOL);
950         if (tot_uvloop > MAX_MTFACE) {
951                 PRINT_ERR("\tMore UV layers than %d allowed, %d last ones won't be available for render, shaders, etc.\n",
952                           MAX_MTFACE, tot_uvloop - MAX_MTFACE);
953         }
954         if (tot_vcolloop > MAX_MCOL) {
955                 PRINT_ERR("\tMore VCol layers than %d allowed, %d last ones won't be available for render, shaders, etc.\n",
956                           MAX_MCOL, tot_vcolloop - MAX_MCOL);
957         }
958
959         /* check indices of clone/stencil */
960         if (do_fixes && CustomData_get_clone_layer(ldata, CD_MLOOPUV) >= tot_uvloop) {
961                 CustomData_set_layer_clone(ldata, CD_MLOOPUV, 0);
962                 is_change_l = true;
963         }
964         if (do_fixes && CustomData_get_stencil_layer(ldata, CD_MLOOPUV) >= tot_uvloop) {
965                 CustomData_set_layer_stencil(ldata, CD_MLOOPUV, 0);
966                 is_change_l = true;
967         }
968
969         *r_change = (is_change_v || is_change_e || is_change_l || is_change_p);
970
971         return is_valid;
972 }
973
974 /**
975  * \see  #DM_is_valid to call on derived meshes
976  *
977  * \returns true if a change is made.
978  */
979 int BKE_mesh_validate(Mesh *me, const int do_verbose, const int cddata_check_mask)
980 {
981         bool is_valid = true;
982         bool changed;
983
984         if (do_verbose) {
985                 printf("MESH: %s\n", me->id.name + 2);
986         }
987
988         is_valid &= BKE_mesh_validate_all_customdata(
989                 &me->vdata, &me->edata, &me->ldata, &me->pdata,
990                 cddata_check_mask,
991                 do_verbose, true,
992                 &changed);
993
994         is_valid &= BKE_mesh_validate_arrays(
995                 me,
996                 me->mvert, me->totvert,
997                 me->medge, me->totedge,
998                 me->mface, me->totface,
999                 me->mloop, me->totloop,
1000                 me->mpoly, me->totpoly,
1001                 me->dvert,
1002                 do_verbose, true,
1003                 &changed);
1004
1005         if (changed) {
1006                 DEG_id_tag_update(&me->id, OB_RECALC_DATA);
1007                 return true;
1008         }
1009         else {
1010                 return false;
1011         }
1012 }
1013
1014 /**
1015  * Check all material indices of polygons are valid, invalid ones are set to 0.
1016  * \returns is_valid.
1017  */
1018 int BKE_mesh_validate_material_indices(Mesh *me)
1019 {
1020         MPoly *mp;
1021         const int max_idx = max_ii(0, me->totcol - 1);
1022         const int totpoly = me->totpoly;
1023         int i;
1024         bool is_valid = true;
1025
1026         for (mp = me->mpoly, i = 0; i < totpoly; i++, mp++) {
1027                 if (mp->mat_nr > max_idx) {
1028                         mp->mat_nr = 0;
1029                         is_valid = false;
1030                 }
1031         }
1032
1033         if (!is_valid) {
1034                 DEG_id_tag_update(&me->id, OB_RECALC_DATA);
1035                 return true;
1036         }
1037         else {
1038                 return false;
1039         }
1040 }
1041
1042 /** \} */
1043
1044
1045 /* -------------------------------------------------------------------- */
1046
1047 /** \name Mesh Stripping (removing invalid data)
1048  * \{ */
1049
1050 /* We need to keep this for edge creation (for now?), and some old readfile code... */
1051 void BKE_mesh_strip_loose_faces(Mesh *me)
1052 {
1053         MFace *f;
1054         int a, b;
1055
1056         for (a = b = 0, f = me->mface; a < me->totface; a++, f++) {
1057                 if (f->v3) {
1058                         if (a != b) {
1059                                 memcpy(&me->mface[b], f, sizeof(me->mface[b]));
1060                                 CustomData_copy_data(&me->fdata, &me->fdata, a, b, 1);
1061                         }
1062                         b++;
1063                 }
1064         }
1065         if (a != b) {
1066                 CustomData_free_elem(&me->fdata, b, a - b);
1067                 me->totface = b;
1068         }
1069 }
1070
1071 /* Works on both loops and polys! */
1072 /* Note: It won't try to guess which loops of an invalid poly to remove!
1073  *       this is the work of the caller, to mark those loops...
1074  *       See e.g. BKE_mesh_validate_arrays(). */
1075 void BKE_mesh_strip_loose_polysloops(Mesh *me)
1076 {
1077         MPoly *p;
1078         MLoop *l;
1079         int a, b;
1080         /* New loops idx! */
1081         int *new_idx = MEM_mallocN(sizeof(int) * me->totloop, __func__);
1082
1083         for (a = b = 0, p = me->mpoly; a < me->totpoly; a++, p++) {
1084                 bool invalid = false;
1085                 int i = p->loopstart;
1086                 int stop = i + p->totloop;
1087
1088                 if (stop > me->totloop || stop < i) {
1089                         invalid = true;
1090                 }
1091                 else {
1092                         l = &me->mloop[i];
1093                         i = stop - i;
1094                         /* If one of the poly's loops is invalid, the whole poly is invalid! */
1095                         for (; i--; l++) {
1096                                 if (l->e == INVALID_LOOP_EDGE_MARKER) {
1097                                         invalid = true;
1098                                         break;
1099                                 }
1100                         }
1101                 }
1102
1103                 if (p->totloop >= 3 && !invalid) {
1104                         if (a != b) {
1105                                 memcpy(&me->mpoly[b], p, sizeof(me->mpoly[b]));
1106                                 CustomData_copy_data(&me->pdata, &me->pdata, a, b, 1);
1107                         }
1108                         b++;
1109                 }
1110         }
1111         if (a != b) {
1112                 CustomData_free_elem(&me->pdata, b, a - b);
1113                 me->totpoly = b;
1114         }
1115
1116         /* And now, get rid of invalid loops. */
1117         for (a = b = 0, l = me->mloop; a < me->totloop; a++, l++) {
1118                 if (l->e != INVALID_LOOP_EDGE_MARKER) {
1119                         if (a != b) {
1120                                 memcpy(&me->mloop[b], l, sizeof(me->mloop[b]));
1121                                 CustomData_copy_data(&me->ldata, &me->ldata, a, b, 1);
1122                         }
1123                         new_idx[a] = b;
1124                         b++;
1125                 }
1126                 else {
1127                         /* XXX Theoretically, we should be able to not do this, as no remaining poly
1128                          *     should use any stripped loop. But for security's sake... */
1129                         new_idx[a] = -a;
1130                 }
1131         }
1132         if (a != b) {
1133                 CustomData_free_elem(&me->ldata, b, a - b);
1134                 me->totloop = b;
1135         }
1136
1137         /* And now, update polys' start loop index. */
1138         /* Note: At this point, there should never be any poly using a striped loop! */
1139         for (a = 0, p = me->mpoly; a < me->totpoly; a++, p++) {
1140                 p->loopstart = new_idx[p->loopstart];
1141         }
1142
1143         MEM_freeN(new_idx);
1144 }
1145
1146 void BKE_mesh_strip_loose_edges(Mesh *me)
1147 {
1148         MEdge *e;
1149         MLoop *l;
1150         int a, b;
1151         unsigned int *new_idx = MEM_mallocN(sizeof(int) * me->totedge, __func__);
1152
1153         for (a = b = 0, e = me->medge; a < me->totedge; a++, e++) {
1154                 if (e->v1 != e->v2) {
1155                         if (a != b) {
1156                                 memcpy(&me->medge[b], e, sizeof(me->medge[b]));
1157                                 CustomData_copy_data(&me->edata, &me->edata, a, b, 1);
1158                         }
1159                         new_idx[a] = b;
1160                         b++;
1161                 }
1162                 else {
1163                         new_idx[a] = INVALID_LOOP_EDGE_MARKER;
1164                 }
1165         }
1166         if (a != b) {
1167                 CustomData_free_elem(&me->edata, b, a - b);
1168                 me->totedge = b;
1169         }
1170
1171         /* And now, update loops' edge indices. */
1172         /* XXX We hope no loop was pointing to a striped edge!
1173          *     Else, its e will be set to INVALID_LOOP_EDGE_MARKER :/ */
1174         for (a = 0, l = me->mloop; a < me->totloop; a++, l++) {
1175                 l->e = new_idx[l->e];
1176         }
1177
1178         MEM_freeN(new_idx);
1179 }
1180 /** \} */
1181
1182
1183
1184 /* -------------------------------------------------------------------- */
1185
1186 /** \name Mesh Edge Calculation
1187  * \{ */
1188
1189 /* make edges in a Mesh, for outside of editmode */
1190
1191 struct EdgeSort {
1192         unsigned int v1, v2;
1193         char is_loose, is_draw;
1194 };
1195
1196 /* edges have to be added with lowest index first for sorting */
1197 static void to_edgesort(struct EdgeSort *ed,
1198                         unsigned int v1, unsigned int v2,
1199                         char is_loose, short is_draw)
1200 {
1201         if (v1 < v2) {
1202                 ed->v1 = v1; ed->v2 = v2;
1203         }
1204         else {
1205                 ed->v1 = v2; ed->v2 = v1;
1206         }
1207         ed->is_loose = is_loose;
1208         ed->is_draw = is_draw;
1209 }
1210
1211 static int vergedgesort(const void *v1, const void *v2)
1212 {
1213         const struct EdgeSort *x1 = v1, *x2 = v2;
1214
1215         if (x1->v1 > x2->v1) return 1;
1216         else if (x1->v1 < x2->v1) return -1;
1217         else if (x1->v2 > x2->v2) return 1;
1218         else if (x1->v2 < x2->v2) return -1;
1219
1220         return 0;
1221 }
1222
1223
1224 /* Create edges based on known verts and faces,
1225  * this function is only used when loading very old blend files */
1226
1227 static void mesh_calc_edges_mdata(
1228         MVert *UNUSED(allvert), MFace *allface, MLoop *allloop,
1229         MPoly *allpoly, int UNUSED(totvert), int totface, int UNUSED(totloop), int totpoly,
1230         const bool use_old,
1231         MEdge **r_medge, int *r_totedge)
1232 {
1233         MPoly *mpoly;
1234         MFace *mface;
1235         MEdge *medge, *med;
1236         EdgeHash *hash;
1237         struct EdgeSort *edsort, *ed;
1238         int a, totedge = 0;
1239         unsigned int totedge_final = 0;
1240         unsigned int edge_index;
1241
1242         /* we put all edges in array, sort them, and detect doubles that way */
1243
1244         for (a = totface, mface = allface; a > 0; a--, mface++) {
1245                 if (mface->v4) totedge += 4;
1246                 else if (mface->v3) totedge += 3;
1247                 else totedge += 1;
1248         }
1249
1250         if (totedge == 0) {
1251                 /* flag that mesh has edges */
1252                 (*r_medge) = MEM_callocN(0, __func__);
1253                 (*r_totedge) = 0;
1254                 return;
1255         }
1256
1257         ed = edsort = MEM_mallocN(totedge * sizeof(struct EdgeSort), "EdgeSort");
1258
1259         for (a = totface, mface = allface; a > 0; a--, mface++) {
1260                 to_edgesort(ed++, mface->v1, mface->v2, !mface->v3, mface->edcode & ME_V1V2);
1261                 if (mface->v4) {
1262                         to_edgesort(ed++, mface->v2, mface->v3, 0, mface->edcode & ME_V2V3);
1263                         to_edgesort(ed++, mface->v3, mface->v4, 0, mface->edcode & ME_V3V4);
1264                         to_edgesort(ed++, mface->v4, mface->v1, 0, mface->edcode & ME_V4V1);
1265                 }
1266                 else if (mface->v3) {
1267                         to_edgesort(ed++, mface->v2, mface->v3, 0, mface->edcode & ME_V2V3);
1268                         to_edgesort(ed++, mface->v3, mface->v1, 0, mface->edcode & ME_V3V1);
1269                 }
1270         }
1271
1272         qsort(edsort, totedge, sizeof(struct EdgeSort), vergedgesort);
1273
1274         /* count final amount */
1275         for (a = totedge, ed = edsort; a > 1; a--, ed++) {
1276                 /* edge is unique when it differs from next edge, or is last */
1277                 if (ed->v1 != (ed + 1)->v1 || ed->v2 != (ed + 1)->v2) totedge_final++;
1278         }
1279         totedge_final++;
1280
1281         medge = MEM_callocN(sizeof(MEdge) * totedge_final, __func__);
1282
1283         for (a = totedge, med = medge, ed = edsort; a > 1; a--, ed++) {
1284                 /* edge is unique when it differs from next edge, or is last */
1285                 if (ed->v1 != (ed + 1)->v1 || ed->v2 != (ed + 1)->v2) {
1286                         med->v1 = ed->v1;
1287                         med->v2 = ed->v2;
1288                         if (use_old == false || ed->is_draw) med->flag = ME_EDGEDRAW | ME_EDGERENDER;
1289                         if (ed->is_loose) med->flag |= ME_LOOSEEDGE;
1290
1291                         /* order is swapped so extruding this edge as a surface wont flip face normals
1292                          * with cyclic curves */
1293                         if (ed->v1 + 1 != ed->v2) {
1294                                 SWAP(unsigned int, med->v1, med->v2);
1295                         }
1296                         med++;
1297                 }
1298                 else {
1299                         /* equal edge, we merge the drawflag */
1300                         (ed + 1)->is_draw |= ed->is_draw;
1301                 }
1302         }
1303         /* last edge */
1304         med->v1 = ed->v1;
1305         med->v2 = ed->v2;
1306         med->flag = ME_EDGEDRAW;
1307         if (ed->is_loose) med->flag |= ME_LOOSEEDGE;
1308         med->flag |= ME_EDGERENDER;
1309
1310         MEM_freeN(edsort);
1311
1312         /* set edge members of mloops */
1313         hash = BLI_edgehash_new_ex(__func__, totedge_final);
1314         for (edge_index = 0, med = medge; edge_index < totedge_final; edge_index++, med++) {
1315                 BLI_edgehash_insert(hash, med->v1, med->v2, SET_UINT_IN_POINTER(edge_index));
1316         }
1317
1318         mpoly = allpoly;
1319         for (a = 0; a < totpoly; a++, mpoly++) {
1320                 MLoop *ml, *ml_next;
1321                 int i = mpoly->totloop;
1322
1323                 ml_next = allloop + mpoly->loopstart;  /* first loop */
1324                 ml = &ml_next[i - 1];                  /* last loop */
1325
1326                 while (i-- != 0) {
1327                         ml->e = GET_UINT_FROM_POINTER(BLI_edgehash_lookup(hash, ml->v, ml_next->v));
1328                         ml = ml_next;
1329                         ml_next++;
1330                 }
1331         }
1332
1333         BLI_edgehash_free(hash, NULL);
1334
1335         *r_medge = medge;
1336         *r_totedge = totedge_final;
1337 }
1338
1339 /**
1340  * If the mesh is from a very old blender version,
1341  * convert mface->edcode to edge drawflags
1342  */
1343 void BKE_mesh_calc_edges_legacy(Mesh *me, const bool use_old)
1344 {
1345         MEdge *medge;
1346         int totedge = 0;
1347
1348         mesh_calc_edges_mdata(me->mvert, me->mface, me->mloop, me->mpoly,
1349                               me->totvert, me->totface, me->totloop, me->totpoly,
1350                               use_old, &medge, &totedge);
1351
1352         if (totedge == 0) {
1353                 /* flag that mesh has edges */
1354                 me->medge = medge;
1355                 me->totedge = 0;
1356                 return;
1357         }
1358
1359         medge = CustomData_add_layer(&me->edata, CD_MEDGE, CD_ASSIGN, medge, totedge);
1360         me->medge = medge;
1361         me->totedge = totedge;
1362
1363         BKE_mesh_strip_loose_faces(me);
1364 }
1365
1366
1367 /**
1368  * Calculate edges from polygons
1369  *
1370  * \param mesh  The mesh to add edges into
1371  * \param update  When true create new edges co-exist
1372  */
1373 void BKE_mesh_calc_edges(Mesh *mesh, bool update, const bool select)
1374 {
1375         CustomData edata;
1376         EdgeHashIterator *ehi;
1377         MPoly *mp;
1378         MEdge *med, *med_orig;
1379         EdgeHash *eh;
1380         unsigned int eh_reserve;
1381         int i, totedge, totpoly = mesh->totpoly;
1382         int med_index;
1383         /* select for newly created meshes which are selected [#25595] */
1384         const short ed_flag = (ME_EDGEDRAW | ME_EDGERENDER) | (select ? SELECT : 0);
1385
1386         if (mesh->totedge == 0)
1387                 update = false;
1388
1389         eh_reserve = max_ii(update ? mesh->totedge : 0, BLI_EDGEHASH_SIZE_GUESS_FROM_POLYS(totpoly));
1390         eh = BLI_edgehash_new_ex(__func__, eh_reserve);
1391
1392         if (update) {
1393                 /* assume existing edges are valid
1394                  * useful when adding more faces and generating edges from them */
1395                 med = mesh->medge;
1396                 for (i = 0; i < mesh->totedge; i++, med++)
1397                         BLI_edgehash_insert(eh, med->v1, med->v2, med);
1398         }
1399
1400         /* mesh loops (bmesh only) */
1401         for (mp = mesh->mpoly, i = 0; i < totpoly; mp++, i++) {
1402                 MLoop *l = &mesh->mloop[mp->loopstart];
1403                 int j, v_prev = (l + (mp->totloop - 1))->v;
1404                 for (j = 0; j < mp->totloop; j++, l++) {
1405                         if (v_prev != l->v) {
1406                                 void **val_p;
1407                                 if (!BLI_edgehash_ensure_p(eh, v_prev, l->v, &val_p)) {
1408                                         *val_p = NULL;
1409                                 }
1410                         }
1411                         v_prev = l->v;
1412                 }
1413         }
1414
1415         totedge = BLI_edgehash_len(eh);
1416
1417         /* write new edges into a temporary CustomData */
1418         CustomData_reset(&edata);
1419         CustomData_add_layer(&edata, CD_MEDGE, CD_CALLOC, NULL, totedge);
1420
1421         med = CustomData_get_layer(&edata, CD_MEDGE);
1422         for (ehi = BLI_edgehashIterator_new(eh), i = 0;
1423              BLI_edgehashIterator_isDone(ehi) == false;
1424              BLI_edgehashIterator_step(ehi), ++i, ++med)
1425         {
1426                 if (update && (med_orig = BLI_edgehashIterator_getValue(ehi))) {
1427                         *med = *med_orig; /* copy from the original */
1428                 }
1429                 else {
1430                         BLI_edgehashIterator_getKey(ehi, &med->v1, &med->v2);
1431                         med->flag = ed_flag;
1432                 }
1433
1434                 /* store the new edge index in the hash value */
1435                 BLI_edgehashIterator_setValue(ehi, SET_INT_IN_POINTER(i));
1436         }
1437         BLI_edgehashIterator_free(ehi);
1438
1439         if (mesh->totpoly) {
1440                 /* second pass, iterate through all loops again and assign
1441                  * the newly created edges to them. */
1442                 for (mp = mesh->mpoly, i = 0; i < mesh->totpoly; mp++, i++) {
1443                         MLoop *l = &mesh->mloop[mp->loopstart];
1444                         MLoop *l_prev = (l + (mp->totloop - 1));
1445                         int j;
1446                         for (j = 0; j < mp->totloop; j++, l++) {
1447                                 /* lookup hashed edge index */
1448                                 med_index = GET_INT_FROM_POINTER(BLI_edgehash_lookup(eh, l_prev->v, l->v));
1449                                 l_prev->e = med_index;
1450                                 l_prev = l;
1451                         }
1452                 }
1453         }
1454
1455         /* free old CustomData and assign new one */
1456         CustomData_free(&mesh->edata, mesh->totedge);
1457         mesh->edata = edata;
1458         mesh->totedge = totedge;
1459
1460         mesh->medge = CustomData_get_layer(&mesh->edata, CD_MEDGE);
1461
1462         BLI_edgehash_free(eh, NULL);
1463 }
1464 /** \} */