Merge branch 'blender2.7'
[blender.git] / source / blender / blenkernel / intern / mesh_validate.c
1 /*
2  * This program is free software; you can redistribute it and/or
3  * modify it under the terms of the GNU General Public License
4  * as published by the Free Software Foundation; either version 2
5  * of the License, or (at your option) any later version.
6  *
7  * This program is distributed in the hope that it will be useful,
8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
10  * GNU General Public License for more details.
11  *
12  * You should have received a copy of the GNU General Public License
13  * along with this program; if not, write to the Free Software Foundation,
14  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
15  *
16  * The Original Code is Copyright (C) 2011 Blender Foundation.
17  * All rights reserved.
18  */
19
20 /** \file
21  * \ingroup bke
22  */
23
24
25 #include <stdio.h>
26 #include <stdlib.h>
27 #include <string.h>
28 #include <limits.h>
29
30 #include "CLG_log.h"
31
32 #include "DNA_mesh_types.h"
33 #include "DNA_meshdata_types.h"
34 #include "DNA_object_types.h"
35
36 #include "BLI_sys_types.h"
37
38 #include "BLI_utildefines.h"
39 #include "BLI_edgehash.h"
40 #include "BLI_math_base.h"
41 #include "BLI_math_vector.h"
42
43 #include "BKE_deform.h"
44 #include "BKE_mesh.h"
45
46 #include "DEG_depsgraph.h"
47
48 #include "MEM_guardedalloc.h"
49
50 /* loop v/e are unsigned, so using max uint_32 value as invalid marker... */
51 #define INVALID_LOOP_EDGE_MARKER 4294967295u
52
53 static CLG_LogRef LOG = {"bke.mesh"};
54
55 /** \name Internal functions
56  * \{ */
57
58 typedef union {
59         uint32_t verts[2];
60         int64_t edval;
61 } EdgeUUID;
62
63 typedef struct SortFace {
64         EdgeUUID     es[4];
65         unsigned int index;
66 } SortFace;
67
68 /* Used to detect polys (faces) using exactly the same vertices. */
69 /* Used to detect loops used by no (disjoint) or more than one (intersect) polys. */
70 typedef struct SortPoly {
71         int *verts;
72         int numverts;
73         int loopstart;
74         unsigned int index;
75         bool invalid;  /* Poly index. */
76 } SortPoly;
77
78 static void edge_store_assign(uint32_t verts[2],  const uint32_t v1, const uint32_t v2)
79 {
80         if (v1 < v2) {
81                 verts[0] = v1;
82                 verts[1] = v2;
83         }
84         else {
85                 verts[0] = v2;
86                 verts[1] = v1;
87         }
88 }
89
90 static void edge_store_from_mface_quad(EdgeUUID es[4], MFace *mf)
91 {
92         edge_store_assign(es[0].verts, mf->v1, mf->v2);
93         edge_store_assign(es[1].verts, mf->v2, mf->v3);
94         edge_store_assign(es[2].verts, mf->v3, mf->v4);
95         edge_store_assign(es[3].verts, mf->v4, mf->v1);
96 }
97
98 static void edge_store_from_mface_tri(EdgeUUID es[4], MFace *mf)
99 {
100         edge_store_assign(es[0].verts, mf->v1, mf->v2);
101         edge_store_assign(es[1].verts, mf->v2, mf->v3);
102         edge_store_assign(es[2].verts, mf->v3, mf->v1);
103         es[3].verts[0] = es[3].verts[1] = UINT_MAX;
104 }
105
106 static int int64_cmp(const void *v1, const void *v2)
107 {
108         const int64_t x1 = *(const int64_t *)v1;
109         const int64_t x2 = *(const int64_t *)v2;
110
111         if (x1 > x2) {
112                 return 1;
113         }
114         else if (x1 < x2) {
115                 return -1;
116         }
117
118         return 0;
119 }
120
121 static int search_face_cmp(const void *v1, const void *v2)
122 {
123         const SortFace *sfa = v1, *sfb = v2;
124
125         if (sfa->es[0].edval > sfb->es[0].edval) {
126                 return 1;
127         }
128         else if (sfa->es[0].edval < sfb->es[0].edval) {
129                 return -1;
130         }
131
132         else if (sfa->es[1].edval > sfb->es[1].edval) {
133                 return 1;
134         }
135         else if (sfa->es[1].edval < sfb->es[1].edval) {
136                 return -1;
137         }
138
139         else if (sfa->es[2].edval > sfb->es[2].edval) {
140                 return 1;
141         }
142         else if (sfa->es[2].edval < sfb->es[2].edval) {
143                 return -1;
144         }
145
146         else if (sfa->es[3].edval > sfb->es[3].edval) {
147                 return 1;
148         }
149         else if (sfa->es[3].edval < sfb->es[3].edval) {
150                 return -1;
151         }
152
153         return 0;
154 }
155
156 /* TODO check there is not some standard define of this somewhere! */
157 static int int_cmp(const void *v1, const void *v2)
158 {
159         return *(int *)v1 > *(int *)v2 ? 1 : *(int *)v1 < *(int *)v2 ? -1 : 0;
160 }
161
162 static int search_poly_cmp(const void *v1, const void *v2)
163 {
164         const SortPoly *sp1 = v1, *sp2 = v2;
165         const int max_idx = sp1->numverts > sp2->numverts ? sp2->numverts : sp1->numverts;
166         int idx;
167
168         /* Reject all invalid polys at end of list! */
169         if (sp1->invalid || sp2->invalid)
170                 return sp1->invalid ? (sp2->invalid ? 0 : 1) : -1;
171         /* Else, sort on first non-equal verts (remember verts of valid polys are sorted). */
172         for (idx = 0; idx < max_idx; idx++) {
173                 const int v1_i = sp1->verts[idx];
174                 const int v2_i = sp2->verts[idx];
175                 if (v1_i != v2_i) {
176                         return (v1_i > v2_i) ? 1 : -1;
177                 }
178         }
179         return sp1->numverts > sp2->numverts ? 1 : sp1->numverts < sp2->numverts ? -1 : 0;
180 }
181
182 static int search_polyloop_cmp(const void *v1, const void *v2)
183 {
184         const SortPoly *sp1 = v1, *sp2 = v2;
185
186         /* Reject all invalid polys at end of list! */
187         if (sp1->invalid || sp2->invalid)
188                 return sp1->invalid && sp2->invalid ? 0 : sp1->invalid ? 1 : -1;
189         /* Else, sort on loopstart. */
190         return sp1->loopstart > sp2->loopstart ? 1 : sp1->loopstart < sp2->loopstart ? -1 : 0;
191 }
192 /** \} */
193
194
195
196 /* -------------------------------------------------------------------- */
197 /** \name Mesh Validation
198  * \{ */
199
200 #define PRINT_MSG(...) if(do_verbose) CLOG_INFO(&LOG, 1, __VA_ARGS__)
201
202 #define PRINT_ERR(...) do { \
203                 is_valid = false; \
204                 if (do_verbose) { CLOG_ERROR(&LOG, __VA_ARGS__); } \
205         } while(0)
206
207 /**
208  * Validate the mesh, \a do_fixes requires \a mesh to be non-null.
209  *
210  * \return false if no changes needed to be made.
211  */
212 bool BKE_mesh_validate_arrays(
213         Mesh *mesh,
214         MVert *mverts, unsigned int totvert,
215         MEdge *medges, unsigned int totedge,
216         MFace *mfaces, unsigned int totface,
217         MLoop *mloops, unsigned int totloop,
218         MPoly *mpolys, unsigned int totpoly,
219         MDeformVert *dverts, /* assume totvert length */
220         const bool do_verbose, const bool do_fixes,
221         bool *r_changed)
222 {
223 #define REMOVE_EDGE_TAG(_me) { _me->v2 = _me->v1; free_flag.edges = do_fixes; } (void)0
224 #define IS_REMOVED_EDGE(_me) (_me->v2 == _me->v1)
225
226 #define REMOVE_LOOP_TAG(_ml) { _ml->e = INVALID_LOOP_EDGE_MARKER; free_flag.polyloops = do_fixes; } (void)0
227 #define REMOVE_POLY_TAG(_mp) { _mp->totloop *= -1; free_flag.polyloops = do_fixes; } (void)0
228
229         MVert *mv = mverts;
230         MEdge *me;
231         MLoop *ml;
232         MPoly *mp;
233         unsigned int i, j;
234         int *v;
235
236         bool is_valid = true;
237
238         union {
239                 struct {
240                         int verts : 1;
241                         int verts_weight : 1;
242                         int loops_edge : 1;
243                 };
244                 int as_flag;
245         } fix_flag;
246
247         union {
248                 struct {
249                         int edges : 1;
250                         int faces : 1;
251                         /* This regroups loops and polys! */
252                         int polyloops : 1;
253                         int mselect : 1;
254                 };
255                 int as_flag;
256         } free_flag;
257
258         union {
259                 struct {
260                         int edges : 1;
261                 };
262                 int as_flag;
263         } recalc_flag;
264
265         EdgeHash *edge_hash = BLI_edgehash_new_ex(__func__, totedge);
266
267         BLI_assert(!(do_fixes && mesh == NULL));
268
269         fix_flag.as_flag = 0;
270         free_flag.as_flag = 0;
271         recalc_flag.as_flag = 0;
272
273         PRINT_MSG("verts(%u), edges(%u), loops(%u), polygons(%u)",
274                   totvert, totedge, totloop, totpoly);
275
276         if (totedge == 0 && totpoly != 0) {
277                 PRINT_ERR("\tLogical error, %u polygons and 0 edges", totpoly);
278                 recalc_flag.edges = do_fixes;
279         }
280
281         for (i = 0; i < totvert; i++, mv++) {
282                 bool fix_normal = true;
283
284                 for (j = 0; j < 3; j++) {
285                         if (!isfinite(mv->co[j])) {
286                                 PRINT_ERR("\tVertex %u: has invalid coordinate", i);
287
288                                 if (do_fixes) {
289                                         zero_v3(mv->co);
290
291                                         fix_flag.verts = true;
292                                 }
293                         }
294
295                         if (mv->no[j] != 0)
296                                 fix_normal = false;
297                 }
298
299                 if (fix_normal) {
300                         PRINT_ERR("\tVertex %u: has zero normal, assuming Z-up normal", i);
301                         if (do_fixes) {
302                                 mv->no[2] = SHRT_MAX;
303                                 fix_flag.verts = true;
304                         }
305                 }
306         }
307
308         for (i = 0, me = medges; i < totedge; i++, me++) {
309                 bool remove = false;
310
311                 if (me->v1 == me->v2) {
312                         PRINT_ERR("\tEdge %u: has matching verts, both %u", i, me->v1);
313                         remove = do_fixes;
314                 }
315                 if (me->v1 >= totvert) {
316                         PRINT_ERR("\tEdge %u: v1 index out of range, %u", i, me->v1);
317                         remove = do_fixes;
318                 }
319                 if (me->v2 >= totvert) {
320                         PRINT_ERR("\tEdge %u: v2 index out of range, %u", i, me->v2);
321                         remove = do_fixes;
322                 }
323
324                 if ((me->v1 != me->v2) && BLI_edgehash_haskey(edge_hash, me->v1, me->v2)) {
325                         PRINT_ERR("\tEdge %u: is a duplicate of %d", i,
326                                   POINTER_AS_INT(BLI_edgehash_lookup(edge_hash, me->v1, me->v2)));
327                         remove = do_fixes;
328                 }
329
330                 if (remove == false) {
331                         if (me->v1 != me->v2) {
332                                 BLI_edgehash_insert(edge_hash, me->v1, me->v2, POINTER_FROM_INT(i));
333                         }
334                 }
335                 else {
336                         REMOVE_EDGE_TAG(me);
337                 }
338         }
339
340         if (mfaces && !mpolys) {
341 #               define REMOVE_FACE_TAG(_mf) { _mf->v3 = 0; free_flag.faces = do_fixes; } (void)0
342 #               define CHECK_FACE_VERT_INDEX(a, b) \
343                                         if (mf->a == mf->b) { \
344                                                 PRINT_ERR("    face %u: verts invalid, " STRINGIFY(a) "/" STRINGIFY(b) " both %u", i, mf->a); \
345                                                 remove = do_fixes; \
346                                         } (void)0
347 #               define CHECK_FACE_EDGE(a, b) \
348                                         if (!BLI_edgehash_haskey(edge_hash, mf->a, mf->b)) { \
349                                                 PRINT_ERR("    face %u: edge " STRINGIFY(a) "/" STRINGIFY(b) \
350                                                           " (%u,%u) is missing edge data", i, mf->a, mf->b); \
351                                                 recalc_flag.edges = do_fixes; \
352                                         } (void)0
353
354                 MFace *mf;
355                 MFace *mf_prev;
356
357                 SortFace *sort_faces = MEM_callocN(sizeof(SortFace) * totface, "search faces");
358                 SortFace *sf;
359                 SortFace *sf_prev;
360                 unsigned int totsortface = 0;
361
362                 PRINT_ERR("No Polys, only tessellated Faces");
363
364                 for (i = 0, mf = mfaces, sf = sort_faces; i < totface; i++, mf++) {
365                         bool remove = false;
366                         int fidx;
367                         unsigned int fv[4];
368
369                         fidx = mf->v4 ? 3 : 2;
370                         do {
371                                 fv[fidx] = *(&(mf->v1) + fidx);
372                                 if (fv[fidx] >= totvert) {
373                                         PRINT_ERR("\tFace %u: 'v%d' index out of range, %u", i, fidx + 1, fv[fidx]);
374                                         remove = do_fixes;
375                                 }
376                         } while (fidx--);
377
378                         if (remove == false) {
379                                 if (mf->v4) {
380                                         CHECK_FACE_VERT_INDEX(v1, v2);
381                                         CHECK_FACE_VERT_INDEX(v1, v3);
382                                         CHECK_FACE_VERT_INDEX(v1, v4);
383
384                                         CHECK_FACE_VERT_INDEX(v2, v3);
385                                         CHECK_FACE_VERT_INDEX(v2, v4);
386
387                                         CHECK_FACE_VERT_INDEX(v3, v4);
388                                 }
389                                 else {
390                                         CHECK_FACE_VERT_INDEX(v1, v2);
391                                         CHECK_FACE_VERT_INDEX(v1, v3);
392
393                                         CHECK_FACE_VERT_INDEX(v2, v3);
394                                 }
395
396                                 if (remove == false) {
397                                         if (totedge) {
398                                                 if (mf->v4) {
399                                                         CHECK_FACE_EDGE(v1, v2);
400                                                         CHECK_FACE_EDGE(v2, v3);
401                                                         CHECK_FACE_EDGE(v3, v4);
402                                                         CHECK_FACE_EDGE(v4, v1);
403                                                 }
404                                                 else {
405                                                         CHECK_FACE_EDGE(v1, v2);
406                                                         CHECK_FACE_EDGE(v2, v3);
407                                                         CHECK_FACE_EDGE(v3, v1);
408                                                 }
409                                         }
410
411                                         sf->index = i;
412
413                                         if (mf->v4) {
414                                                 edge_store_from_mface_quad(sf->es, mf);
415
416                                                 qsort(sf->es, 4, sizeof(int64_t), int64_cmp);
417                                         }
418                                         else {
419                                                 edge_store_from_mface_tri(sf->es, mf);
420                                                 qsort(sf->es, 3, sizeof(int64_t), int64_cmp);
421                                         }
422
423                                         totsortface++;
424                                         sf++;
425                                 }
426                         }
427
428                         if (remove) {
429                                 REMOVE_FACE_TAG(mf);
430                         }
431                 }
432
433                 qsort(sort_faces, totsortface, sizeof(SortFace), search_face_cmp);
434
435                 sf = sort_faces;
436                 sf_prev = sf;
437                 sf++;
438
439                 for (i = 1; i < totsortface; i++, sf++) {
440                         bool remove = false;
441
442                         /* on a valid mesh, code below will never run */
443                         if (memcmp(sf->es, sf_prev->es, sizeof(sf_prev->es)) == 0) {
444                                 mf = mfaces + sf->index;
445
446                                 if (do_verbose) {
447                                         mf_prev = mfaces + sf_prev->index;
448
449                                         if (mf->v4) {
450                                                 PRINT_ERR("\tFace %u & %u: are duplicates (%u,%u,%u,%u) (%u,%u,%u,%u)",
451                                                           sf->index, sf_prev->index, mf->v1, mf->v2, mf->v3, mf->v4,
452                                                           mf_prev->v1, mf_prev->v2, mf_prev->v3, mf_prev->v4);
453                                         }
454                                         else {
455                                                 PRINT_ERR("\tFace %u & %u: are duplicates (%u,%u,%u) (%u,%u,%u)",
456                                                           sf->index, sf_prev->index, mf->v1, mf->v2, mf->v3,
457                                                           mf_prev->v1, mf_prev->v2, mf_prev->v3);
458                                         }
459                                 }
460
461                                 remove = do_fixes;
462                         }
463                         else {
464                                 sf_prev = sf;
465                         }
466
467                         if (remove) {
468                                 REMOVE_FACE_TAG(mf);
469                         }
470                 }
471
472                 MEM_freeN(sort_faces);
473
474 #               undef REMOVE_FACE_TAG
475 #               undef CHECK_FACE_VERT_INDEX
476 #               undef CHECK_FACE_EDGE
477         }
478
479         /* Checking loops and polys is a bit tricky, as they are quite intricate...
480          *
481          * Polys must have:
482          * - a valid loopstart value.
483          * - a valid totloop value (>= 3 and loopstart+totloop < me.totloop).
484          *
485          * Loops must have:
486          * - a valid v value.
487          * - a valid e value (corresponding to the edge it defines with the next loop in poly).
488          *
489          * Also, loops not used by polys can be discarded.
490          * And "intersecting" loops (i.e. loops used by more than one poly) are invalid,
491          * so be sure to leave at most one poly per loop!
492          */
493         {
494                 SortPoly *sort_polys = MEM_callocN(sizeof(SortPoly) * totpoly, "mesh validate's sort_polys");
495                 SortPoly *prev_sp, *sp = sort_polys;
496                 int prev_end;
497
498                 for (i = 0, mp = mpolys; i < totpoly; i++, mp++, sp++) {
499                         sp->index = i;
500
501                         if (mp->loopstart < 0 || mp->totloop < 3) {
502                                 /* Invalid loop data. */
503                                 PRINT_ERR("\tPoly %u is invalid (loopstart: %d, totloop: %d)",
504                                           sp->index, mp->loopstart, mp->totloop);
505                                 sp->invalid = true;
506                         }
507                         else if (mp->loopstart + mp->totloop > totloop) {
508                                 /* Invalid loop data. */
509                                 PRINT_ERR("\tPoly %u uses loops out of range (loopstart: %d, loopend: %d, max nbr of loops: %u)",
510                                           sp->index, mp->loopstart, mp->loopstart + mp->totloop - 1, totloop - 1);
511                                 sp->invalid = true;
512                         }
513                         else {
514                                 /* Poly itself is valid, for now. */
515                                 int v1, v2; /* v1 is prev loop vert idx, v2 is current loop one. */
516                                 sp->invalid = false;
517                                 sp->verts = v = MEM_mallocN(sizeof(int) * mp->totloop, "Vert idx of SortPoly");
518                                 sp->numverts = mp->totloop;
519                                 sp->loopstart = mp->loopstart;
520
521                                 /* Ideally we would only have to do that once on all vertices before we start checking each poly, but
522                                  * several polys can use same vert, so we have to ensure here all verts of current poly are cleared. */
523                                 for (j = 0, ml = &mloops[sp->loopstart]; j < mp->totloop; j++, ml++) {
524                                         if (ml->v < totvert) {
525                                                 mverts[ml->v].flag &= ~ME_VERT_TMP_TAG;
526                                         }
527                                 }
528
529                                 /* Test all poly's loops' vert idx. */
530                                 for (j = 0, ml = &mloops[sp->loopstart]; j < mp->totloop; j++, ml++, v++) {
531                                         if (ml->v >= totvert) {
532                                                 /* Invalid vert idx. */
533                                                 PRINT_ERR("\tLoop %u has invalid vert reference (%u)", sp->loopstart + j, ml->v);
534                                                 sp->invalid = true;
535                                         }
536                                         else if (mverts[ml->v].flag & ME_VERT_TMP_TAG) {
537                                                 PRINT_ERR("\tPoly %u has duplicated vert reference at corner (%u)", i, j);
538                                                 sp->invalid = true;
539                                         }
540                                         else {
541                                                 mverts[ml->v].flag |= ME_VERT_TMP_TAG;
542                                         }
543                                         *v = ml->v;
544                                 }
545
546                                 if (sp->invalid)
547                                         continue;
548
549                                 /* Test all poly's loops. */
550                                 for (j = 0, ml = &mloops[sp->loopstart]; j < mp->totloop; j++, ml++) {
551                                         v1 = ml->v;
552                                         v2 = mloops[sp->loopstart + (j + 1) % mp->totloop].v;
553                                         if (!BLI_edgehash_haskey(edge_hash, v1, v2)) {
554                                                 /* Edge not existing. */
555                                                 PRINT_ERR("\tPoly %u needs missing edge (%d, %d)", sp->index, v1, v2);
556                                                 if (do_fixes)
557                                                         recalc_flag.edges = true;
558                                                 else
559                                                         sp->invalid = true;
560                                         }
561                                         else if (ml->e >= totedge) {
562                                                 /* Invalid edge idx.
563                                                  * We already know from previous text that a valid edge exists, use it (if allowed)! */
564                                                 if (do_fixes) {
565                                                         int prev_e = ml->e;
566                                                         ml->e = POINTER_AS_INT(BLI_edgehash_lookup(edge_hash, v1, v2));
567                                                         fix_flag.loops_edge = true;
568                                                         PRINT_ERR("\tLoop %u has invalid edge reference (%d), fixed using edge %u",
569                                                                   sp->loopstart + j, prev_e, ml->e);
570                                                 }
571                                                 else {
572                                                         PRINT_ERR("\tLoop %u has invalid edge reference (%u)", sp->loopstart + j, ml->e);
573                                                         sp->invalid = true;
574                                                 }
575                                         }
576                                         else {
577                                                 me = &medges[ml->e];
578                                                 if (IS_REMOVED_EDGE(me) || !((me->v1 == v1 && me->v2 == v2) || (me->v1 == v2 && me->v2 == v1))) {
579                                                         /* The pointed edge is invalid (tagged as removed, or vert idx mismatch),
580                                                          * and we already know from previous test that a valid one exists, use it (if allowed)! */
581                                                         if (do_fixes) {
582                                                                 int prev_e = ml->e;
583                                                                 ml->e = POINTER_AS_INT(BLI_edgehash_lookup(edge_hash, v1, v2));
584                                                                 fix_flag.loops_edge = true;
585                                                                 PRINT_ERR("\tPoly %u has invalid edge reference (%d, is_removed: %d), fixed using edge %u",
586                                                                           sp->index, prev_e, IS_REMOVED_EDGE(me), ml->e);
587                                                         }
588                                                         else {
589                                                                 PRINT_ERR("\tPoly %u has invalid edge reference (%u)", sp->index, ml->e);
590                                                                 sp->invalid = true;
591                                                         }
592                                                 }
593                                         }
594                                 }
595
596                                 if (!sp->invalid) {
597                                         /* Needed for checking polys using same verts below. */
598                                         qsort(sp->verts, sp->numverts, sizeof(int), int_cmp);
599                                 }
600                         }
601                 }
602
603                 /* Second check pass, testing polys using the same verts. */
604                 qsort(sort_polys, totpoly, sizeof(SortPoly), search_poly_cmp);
605                 sp = prev_sp = sort_polys;
606                 sp++;
607
608                 for (i = 1; i < totpoly; i++, sp++) {
609                         int p1_nv = sp->numverts, p2_nv = prev_sp->numverts;
610                         const int *p1_v = sp->verts, *p2_v = prev_sp->verts;
611
612                         if (sp->invalid) {
613                                 /* break, because all known invalid polys have been put at the end by qsort with search_poly_cmp. */
614                                 break;
615                         }
616
617                         /* Test same polys. */
618                         if ((p1_nv == p2_nv) && (memcmp(p1_v, p2_v, p1_nv * sizeof(*p1_v)) == 0)) {
619                                 if (do_verbose) {
620                                         // TODO: convert list to string
621                                         PRINT_ERR("\tPolys %u and %u use same vertices (%d",
622                                                   prev_sp->index, sp->index, *p1_v);
623                                         for (j = 1; j < p1_nv; j++)
624                                                 PRINT_ERR(", %d", p1_v[j]);
625                                         PRINT_ERR("), considering poly %u as invalid.", sp->index);
626                                 }
627                                 else {
628                                         is_valid = false;
629                                 }
630                                 sp->invalid = true;
631                         }
632                         else {
633                                 prev_sp = sp;
634                         }
635                 }
636
637                 /* Third check pass, testing loops used by none or more than one poly. */
638                 qsort(sort_polys, totpoly, sizeof(SortPoly), search_polyloop_cmp);
639                 sp = sort_polys;
640                 prev_sp = NULL;
641                 prev_end = 0;
642                 for (i = 0; i < totpoly; i++, sp++) {
643                         /* Free this now, we don't need it anymore, and avoid us another loop! */
644                         if (sp->verts)
645                                 MEM_freeN(sp->verts);
646
647                         /* Note above prev_sp: in following code, we make sure it is always valid poly (or NULL). */
648                         if (sp->invalid) {
649                                 if (do_fixes) {
650                                         REMOVE_POLY_TAG((&mpolys[sp->index]));
651                                         /* DO NOT REMOVE ITS LOOPS!!!
652                                          * As already invalid polys are at the end of the SortPoly list, the loops they
653                                          * were the only users have already been tagged as "to remove" during previous
654                                          * iterations, and we don't want to remove some loops that may be used by
655                                          * another valid poly! */
656                                 }
657                         }
658                         /* Test loops users. */
659                         else {
660                                 /* Unused loops. */
661                                 if (prev_end < sp->loopstart) {
662                                         for (j = prev_end, ml = &mloops[prev_end]; j < sp->loopstart; j++, ml++) {
663                                                 PRINT_ERR("\tLoop %u is unused.", j);
664                                                 if (do_fixes)
665                                                         REMOVE_LOOP_TAG(ml);
666                                         }
667                                         prev_end = sp->loopstart + sp->numverts;
668                                         prev_sp = sp;
669                                 }
670                                 /* Multi-used loops. */
671                                 else if (prev_end > sp->loopstart) {
672                                         PRINT_ERR("\tPolys %u and %u share loops from %d to %d, considering poly %u as invalid.",
673                                                   prev_sp->index, sp->index, sp->loopstart, prev_end, sp->index);
674                                         if (do_fixes) {
675                                                 REMOVE_POLY_TAG((&mpolys[sp->index]));
676                                                 /* DO NOT REMOVE ITS LOOPS!!!
677                                                  * They might be used by some next, valid poly!
678                                                  * Just not updating prev_end/prev_sp vars is enough to ensure the loops
679                                                  * effectively no more needed will be marked as "to be removed"! */
680                                         }
681                                 }
682                                 else {
683                                         prev_end = sp->loopstart + sp->numverts;
684                                         prev_sp = sp;
685                                 }
686                         }
687                 }
688                 /* We may have some remaining unused loops to get rid of! */
689                 if (prev_end < totloop) {
690                         for (j = prev_end, ml = &mloops[prev_end]; j < totloop; j++, ml++) {
691                                 PRINT_ERR("\tLoop %u is unused.", j);
692                                 if (do_fixes)
693                                         REMOVE_LOOP_TAG(ml);
694                         }
695                 }
696
697                 MEM_freeN(sort_polys);
698         }
699
700         BLI_edgehash_free(edge_hash, NULL);
701
702         /* fix deform verts */
703         if (dverts) {
704                 MDeformVert *dv;
705                 for (i = 0, dv = dverts; i < totvert; i++, dv++) {
706                         MDeformWeight *dw;
707
708                         for (j = 0, dw = dv->dw; j < dv->totweight; j++, dw++) {
709                                 /* note, greater than max defgroups is accounted for in our code, but not < 0 */
710                                 if (!isfinite(dw->weight)) {
711                                         PRINT_ERR("\tVertex deform %u, group %d has weight: %f", i, dw->def_nr, dw->weight);
712                                         if (do_fixes) {
713                                                 dw->weight = 0.0f;
714                                                 fix_flag.verts_weight = true;
715                                         }
716                                 }
717                                 else if (dw->weight < 0.0f || dw->weight > 1.0f) {
718                                         PRINT_ERR("\tVertex deform %u, group %d has weight: %f", i, dw->def_nr, dw->weight);
719                                         if (do_fixes) {
720                                                 CLAMP(dw->weight, 0.0f, 1.0f);
721                                                 fix_flag.verts_weight = true;
722                                         }
723                                 }
724
725                                 if (dw->def_nr < 0) {
726                                         PRINT_ERR("\tVertex deform %u, has invalid group %d", i, dw->def_nr);
727                                         if (do_fixes) {
728                                                 defvert_remove_group(dv, dw);
729                                                 fix_flag.verts_weight = true;
730
731                                                 if (dv->dw) {
732                                                         /* re-allocated, the new values compensate for stepping
733                                                          * within the for loop and may not be valid */
734                                                         j--;
735                                                         dw = dv->dw + j;
736
737                                                 }
738                                                 else { /* all freed */
739                                                         break;
740                                                 }
741                                         }
742                                 }
743                         }
744                 }
745         }
746
747 #   undef REMOVE_EDGE_TAG
748 #   undef IS_REMOVED_EDGE
749 #   undef REMOVE_LOOP_TAG
750 #   undef REMOVE_POLY_TAG
751
752         if (mesh) {
753                 if (free_flag.faces) {
754                         BKE_mesh_strip_loose_faces(mesh);
755                 }
756
757                 if (free_flag.polyloops) {
758                         BKE_mesh_strip_loose_polysloops(mesh);
759                 }
760
761                 if (free_flag.edges) {
762                         BKE_mesh_strip_loose_edges(mesh);
763                 }
764
765                 if (recalc_flag.edges) {
766                         BKE_mesh_calc_edges(mesh, true, false);
767                 }
768         }
769
770         if (mesh && mesh->mselect) {
771                 MSelect *msel;
772
773                 for (i = 0, msel = mesh->mselect; i < mesh->totselect; i++, msel++) {
774                         int tot_elem = 0;
775
776                         if (msel->index < 0) {
777                                 PRINT_ERR("\tMesh select element %u type %d index is negative, "
778                                           "resetting selection stack.\n", i, msel->type);
779                                 free_flag.mselect = do_fixes;
780                                 break;
781                         }
782
783                         switch (msel->type) {
784                                 case ME_VSEL:
785                                         tot_elem = mesh->totvert;
786                                         break;
787                                 case ME_ESEL:
788                                         tot_elem = mesh->totedge;
789                                         break;
790                                 case ME_FSEL:
791                                         tot_elem = mesh->totface;
792                                         break;
793                         }
794
795                         if (msel->index > tot_elem) {
796                                 PRINT_ERR("\tMesh select element %u type %d index %d is larger than data array size %d, "
797                                           "resetting selection stack.\n", i, msel->type, msel->index, tot_elem);
798
799                                 free_flag.mselect = do_fixes;
800                                 break;
801                         }
802                 }
803
804                 if (free_flag.mselect) {
805                         MEM_freeN(mesh->mselect);
806                         mesh->mselect = NULL;
807                         mesh->totselect = 0;
808                 }
809         }
810
811         PRINT_MSG("%s: finished\n\n", __func__);
812
813         *r_changed = (fix_flag.as_flag || free_flag.as_flag || recalc_flag.as_flag);
814
815         BLI_assert((*r_changed == false) || (do_fixes == true));
816
817         return is_valid;
818 }
819
820 static bool mesh_validate_customdata(
821         CustomData *data, CustomDataMask mask, const uint totitems,
822         const bool do_verbose, const bool do_fixes,
823         bool *r_change)
824 {
825         bool is_valid = true;
826         bool has_fixes = false;
827         int i = 0;
828
829         PRINT_MSG("%s: Checking %d CD layers...\n", __func__, data->totlayer);
830
831         while (i < data->totlayer) {
832                 CustomDataLayer *layer = &data->layers[i];
833                 bool ok = true;
834
835                 if (CustomData_layertype_is_singleton(layer->type)) {
836                         const int layer_tot = CustomData_number_of_layers(data, layer->type);
837                         if (layer_tot > 1) {
838                                 PRINT_ERR("\tCustomDataLayer type %d is a singleton, found %d in Mesh structure\n",
839                                           layer->type, layer_tot);
840                                 ok = false;
841                         }
842                 }
843
844                 if (mask != 0) {
845                         CustomDataMask layer_typemask = CD_TYPE_AS_MASK(layer->type);
846                         if ((layer_typemask & mask) == 0) {
847                                 PRINT_ERR("\tCustomDataLayer type %d which isn't in the mask\n",
848                                           layer->type);
849                                 ok = false;
850                         }
851                 }
852
853                 if (ok == false) {
854                         if (do_fixes) {
855                                 CustomData_free_layer(data, layer->type, 0, i);
856                                 has_fixes = true;
857                         }
858                 }
859
860                 if (ok) {
861                         if (CustomData_layer_validate(layer, totitems, do_fixes)) {
862                                 PRINT_ERR("\tCustomDataLayer type %d has some invalid data\n", layer->type);
863                                 has_fixes = do_fixes;
864                         }
865                         i++;
866                 }
867         }
868
869         PRINT_MSG("%s: Finished (is_valid=%d)\n\n", __func__, (int)!has_fixes);
870
871         *r_change = has_fixes;
872
873         return is_valid;
874 }
875
876 /**
877  * \returns is_valid.
878  */
879 bool BKE_mesh_validate_all_customdata(
880         CustomData *vdata, const uint totvert,
881         CustomData *edata, const uint totedge,
882         CustomData *ldata, const uint totloop,
883         CustomData *pdata, const uint totpoly,
884         const bool check_meshmask,
885         const bool do_verbose, const bool do_fixes,
886         bool *r_change)
887 {
888         bool is_valid = true;
889         bool is_change_v, is_change_e, is_change_l, is_change_p;
890         int tot_uvloop, tot_vcolloop;
891         CustomDataMask mask = check_meshmask ? CD_MASK_MESH : 0;
892
893         is_valid &= mesh_validate_customdata(vdata, mask, totvert, do_verbose, do_fixes, &is_change_v);
894         is_valid &= mesh_validate_customdata(edata, mask, totedge, do_verbose, do_fixes, &is_change_e);
895         is_valid &= mesh_validate_customdata(ldata, mask, totloop, do_verbose, do_fixes, &is_change_l);
896         is_valid &= mesh_validate_customdata(pdata, mask, totpoly, do_verbose, do_fixes, &is_change_p);
897
898         tot_uvloop = CustomData_number_of_layers(ldata, CD_MLOOPUV);
899         tot_vcolloop = CustomData_number_of_layers(ldata, CD_MLOOPCOL);
900         if (tot_uvloop > MAX_MTFACE) {
901                 PRINT_ERR("\tMore UV layers than %d allowed, %d last ones won't be available for render, shaders, etc.\n",
902                           MAX_MTFACE, tot_uvloop - MAX_MTFACE);
903         }
904         if (tot_vcolloop > MAX_MCOL) {
905                 PRINT_ERR("\tMore VCol layers than %d allowed, %d last ones won't be available for render, shaders, etc.\n",
906                           MAX_MCOL, tot_vcolloop - MAX_MCOL);
907         }
908
909         /* check indices of clone/stencil */
910         if (do_fixes && CustomData_get_clone_layer(ldata, CD_MLOOPUV) >= tot_uvloop) {
911                 CustomData_set_layer_clone(ldata, CD_MLOOPUV, 0);
912                 is_change_l = true;
913         }
914         if (do_fixes && CustomData_get_stencil_layer(ldata, CD_MLOOPUV) >= tot_uvloop) {
915                 CustomData_set_layer_stencil(ldata, CD_MLOOPUV, 0);
916                 is_change_l = true;
917         }
918
919         *r_change = (is_change_v || is_change_e || is_change_l || is_change_p);
920
921         return is_valid;
922 }
923
924 /**
925  * Validates and corrects a Mesh.
926  *
927  * \returns true if a change is made.
928  */
929 bool BKE_mesh_validate(Mesh *me, const bool do_verbose, const bool cddata_check_mask)
930 {
931         bool is_valid = true;
932         bool changed;
933
934         if (do_verbose) {
935                 CLOG_INFO(&LOG, 0, "MESH: %s", me->id.name + 2);
936         }
937
938         is_valid &= BKE_mesh_validate_all_customdata(
939                 &me->vdata, me->totvert,
940                 &me->edata, me->totedge,
941                 &me->ldata, me->totloop,
942                 &me->pdata, me->totpoly,
943                 cddata_check_mask,
944                 do_verbose, true,
945                 &changed);
946
947         is_valid &= BKE_mesh_validate_arrays(
948                 me,
949                 me->mvert, me->totvert,
950                 me->medge, me->totedge,
951                 me->mface, me->totface,
952                 me->mloop, me->totloop,
953                 me->mpoly, me->totpoly,
954                 me->dvert,
955                 do_verbose, true,
956                 &changed);
957
958         if (changed) {
959                 DEG_id_tag_update(&me->id, ID_RECALC_GEOMETRY);
960                 return true;
961         }
962         else {
963                 return false;
964         }
965 }
966
967 /**
968  * Checks if a Mesh is valid without any modification. This is always verbose.
969  *
970  * \see  #DM_is_valid to call on derived meshes
971  *
972  * \returns is_valid.
973  */
974 bool BKE_mesh_is_valid(Mesh *me)
975 {
976         const bool do_verbose = true;
977         const bool do_fixes = false;
978
979         bool is_valid = true;
980         bool changed = true;
981
982         is_valid &= BKE_mesh_validate_all_customdata(
983                 &me->vdata, me->totvert,
984                 &me->edata, me->totedge,
985                 &me->ldata, me->totloop,
986                 &me->pdata, me->totpoly,
987                 false,  /* setting mask here isn't useful, gives false positives */
988                 do_verbose, do_fixes, &changed);
989
990         is_valid &= BKE_mesh_validate_arrays(
991                 me,
992                 me->mvert, me->totvert,
993                 me->medge, me->totedge,
994                 me->mface, me->totface,
995                 me->mloop, me->totloop,
996                 me->mpoly, me->totpoly,
997                 me->dvert,
998                 do_verbose, do_fixes,
999                 &changed);
1000
1001         BLI_assert(changed == false);
1002
1003         return is_valid;
1004 }
1005
1006 /**
1007  * Check all material indices of polygons are valid, invalid ones are set to 0.
1008  * \returns is_valid.
1009  */
1010 bool BKE_mesh_validate_material_indices(Mesh *me)
1011 {
1012         MPoly *mp;
1013         const int max_idx = max_ii(0, me->totcol - 1);
1014         const int totpoly = me->totpoly;
1015         int i;
1016         bool is_valid = true;
1017
1018         for (mp = me->mpoly, i = 0; i < totpoly; i++, mp++) {
1019                 if (mp->mat_nr > max_idx) {
1020                         mp->mat_nr = 0;
1021                         is_valid = false;
1022                 }
1023         }
1024
1025         if (!is_valid) {
1026                 DEG_id_tag_update(&me->id, ID_RECALC_GEOMETRY);
1027                 return true;
1028         }
1029         else {
1030                 return false;
1031         }
1032 }
1033
1034 /** \} */
1035
1036
1037 /* -------------------------------------------------------------------- */
1038 /** \name Mesh Stripping (removing invalid data)
1039  * \{ */
1040
1041 /* We need to keep this for edge creation (for now?), and some old readfile code... */
1042 void BKE_mesh_strip_loose_faces(Mesh *me)
1043 {
1044         MFace *f;
1045         int a, b;
1046
1047         for (a = b = 0, f = me->mface; a < me->totface; a++, f++) {
1048                 if (f->v3) {
1049                         if (a != b) {
1050                                 memcpy(&me->mface[b], f, sizeof(me->mface[b]));
1051                                 CustomData_copy_data(&me->fdata, &me->fdata, a, b, 1);
1052                         }
1053                         b++;
1054                 }
1055         }
1056         if (a != b) {
1057                 CustomData_free_elem(&me->fdata, b, a - b);
1058                 me->totface = b;
1059         }
1060 }
1061
1062 /* Works on both loops and polys! */
1063 /* Note: It won't try to guess which loops of an invalid poly to remove!
1064  *       this is the work of the caller, to mark those loops...
1065  *       See e.g. BKE_mesh_validate_arrays(). */
1066 void BKE_mesh_strip_loose_polysloops(Mesh *me)
1067 {
1068         MPoly *p;
1069         MLoop *l;
1070         int a, b;
1071         /* New loops idx! */
1072         int *new_idx = MEM_mallocN(sizeof(int) * me->totloop, __func__);
1073
1074         for (a = b = 0, p = me->mpoly; a < me->totpoly; a++, p++) {
1075                 bool invalid = false;
1076                 int i = p->loopstart;
1077                 int stop = i + p->totloop;
1078
1079                 if (stop > me->totloop || stop < i) {
1080                         invalid = true;
1081                 }
1082                 else {
1083                         l = &me->mloop[i];
1084                         i = stop - i;
1085                         /* If one of the poly's loops is invalid, the whole poly is invalid! */
1086                         for (; i--; l++) {
1087                                 if (l->e == INVALID_LOOP_EDGE_MARKER) {
1088                                         invalid = true;
1089                                         break;
1090                                 }
1091                         }
1092                 }
1093
1094                 if (p->totloop >= 3 && !invalid) {
1095                         if (a != b) {
1096                                 memcpy(&me->mpoly[b], p, sizeof(me->mpoly[b]));
1097                                 CustomData_copy_data(&me->pdata, &me->pdata, a, b, 1);
1098                         }
1099                         b++;
1100                 }
1101         }
1102         if (a != b) {
1103                 CustomData_free_elem(&me->pdata, b, a - b);
1104                 me->totpoly = b;
1105         }
1106
1107         /* And now, get rid of invalid loops. */
1108         for (a = b = 0, l = me->mloop; a < me->totloop; a++, l++) {
1109                 if (l->e != INVALID_LOOP_EDGE_MARKER) {
1110                         if (a != b) {
1111                                 memcpy(&me->mloop[b], l, sizeof(me->mloop[b]));
1112                                 CustomData_copy_data(&me->ldata, &me->ldata, a, b, 1);
1113                         }
1114                         new_idx[a] = b;
1115                         b++;
1116                 }
1117                 else {
1118                         /* XXX Theoretically, we should be able to not do this, as no remaining poly
1119                          *     should use any stripped loop. But for security's sake... */
1120                         new_idx[a] = -a;
1121                 }
1122         }
1123         if (a != b) {
1124                 CustomData_free_elem(&me->ldata, b, a - b);
1125                 me->totloop = b;
1126         }
1127
1128         /* And now, update polys' start loop index. */
1129         /* Note: At this point, there should never be any poly using a striped loop! */
1130         for (a = 0, p = me->mpoly; a < me->totpoly; a++, p++) {
1131                 p->loopstart = new_idx[p->loopstart];
1132         }
1133
1134         MEM_freeN(new_idx);
1135 }
1136
1137 void BKE_mesh_strip_loose_edges(Mesh *me)
1138 {
1139         MEdge *e;
1140         MLoop *l;
1141         int a, b;
1142         unsigned int *new_idx = MEM_mallocN(sizeof(int) * me->totedge, __func__);
1143
1144         for (a = b = 0, e = me->medge; a < me->totedge; a++, e++) {
1145                 if (e->v1 != e->v2) {
1146                         if (a != b) {
1147                                 memcpy(&me->medge[b], e, sizeof(me->medge[b]));
1148                                 CustomData_copy_data(&me->edata, &me->edata, a, b, 1);
1149                         }
1150                         new_idx[a] = b;
1151                         b++;
1152                 }
1153                 else {
1154                         new_idx[a] = INVALID_LOOP_EDGE_MARKER;
1155                 }
1156         }
1157         if (a != b) {
1158                 CustomData_free_elem(&me->edata, b, a - b);
1159                 me->totedge = b;
1160         }
1161
1162         /* And now, update loops' edge indices. */
1163         /* XXX We hope no loop was pointing to a striped edge!
1164          *     Else, its e will be set to INVALID_LOOP_EDGE_MARKER :/ */
1165         for (a = 0, l = me->mloop; a < me->totloop; a++, l++) {
1166                 l->e = new_idx[l->e];
1167         }
1168
1169         MEM_freeN(new_idx);
1170 }
1171 /** \} */
1172
1173
1174
1175 /* -------------------------------------------------------------------- */
1176 /** \name Mesh Edge Calculation
1177  * \{ */
1178
1179 /* make edges in a Mesh, for outside of editmode */
1180
1181 struct EdgeSort {
1182         unsigned int v1, v2;
1183         char is_loose, is_draw;
1184 };
1185
1186 /* edges have to be added with lowest index first for sorting */
1187 static void to_edgesort(
1188         struct EdgeSort *ed,
1189         unsigned int v1, unsigned int v2,
1190         char is_loose, short is_draw)
1191 {
1192         if (v1 < v2) {
1193                 ed->v1 = v1; ed->v2 = v2;
1194         }
1195         else {
1196                 ed->v1 = v2; ed->v2 = v1;
1197         }
1198         ed->is_loose = is_loose;
1199         ed->is_draw = is_draw;
1200 }
1201
1202 static int vergedgesort(const void *v1, const void *v2)
1203 {
1204         const struct EdgeSort *x1 = v1, *x2 = v2;
1205
1206         if (x1->v1 > x2->v1) return 1;
1207         else if (x1->v1 < x2->v1) return -1;
1208         else if (x1->v2 > x2->v2) return 1;
1209         else if (x1->v2 < x2->v2) return -1;
1210
1211         return 0;
1212 }
1213
1214
1215 /* Create edges based on known verts and faces,
1216  * this function is only used when loading very old blend files */
1217
1218 static void mesh_calc_edges_mdata(
1219         MVert *UNUSED(allvert), MFace *allface, MLoop *allloop,
1220         MPoly *allpoly, int UNUSED(totvert), int totface, int UNUSED(totloop), int totpoly,
1221         const bool use_old,
1222         MEdge **r_medge, int *r_totedge)
1223 {
1224         MPoly *mpoly;
1225         MFace *mface;
1226         MEdge *medge, *med;
1227         EdgeHash *hash;
1228         struct EdgeSort *edsort, *ed;
1229         int a, totedge = 0;
1230         unsigned int totedge_final = 0;
1231         unsigned int edge_index;
1232
1233         /* we put all edges in array, sort them, and detect doubles that way */
1234
1235         for (a = totface, mface = allface; a > 0; a--, mface++) {
1236                 if (mface->v4) totedge += 4;
1237                 else if (mface->v3) totedge += 3;
1238                 else totedge += 1;
1239         }
1240
1241         if (totedge == 0) {
1242                 /* flag that mesh has edges */
1243                 (*r_medge) = MEM_callocN(0, __func__);
1244                 (*r_totedge) = 0;
1245                 return;
1246         }
1247
1248         ed = edsort = MEM_mallocN(totedge * sizeof(struct EdgeSort), "EdgeSort");
1249
1250         for (a = totface, mface = allface; a > 0; a--, mface++) {
1251                 to_edgesort(ed++, mface->v1, mface->v2, !mface->v3, mface->edcode & ME_V1V2);
1252                 if (mface->v4) {
1253                         to_edgesort(ed++, mface->v2, mface->v3, 0, mface->edcode & ME_V2V3);
1254                         to_edgesort(ed++, mface->v3, mface->v4, 0, mface->edcode & ME_V3V4);
1255                         to_edgesort(ed++, mface->v4, mface->v1, 0, mface->edcode & ME_V4V1);
1256                 }
1257                 else if (mface->v3) {
1258                         to_edgesort(ed++, mface->v2, mface->v3, 0, mface->edcode & ME_V2V3);
1259                         to_edgesort(ed++, mface->v3, mface->v1, 0, mface->edcode & ME_V3V1);
1260                 }
1261         }
1262
1263         qsort(edsort, totedge, sizeof(struct EdgeSort), vergedgesort);
1264
1265         /* count final amount */
1266         for (a = totedge, ed = edsort; a > 1; a--, ed++) {
1267                 /* edge is unique when it differs from next edge, or is last */
1268                 if (ed->v1 != (ed + 1)->v1 || ed->v2 != (ed + 1)->v2) totedge_final++;
1269         }
1270         totedge_final++;
1271
1272         medge = MEM_callocN(sizeof(MEdge) * totedge_final, __func__);
1273
1274         for (a = totedge, med = medge, ed = edsort; a > 1; a--, ed++) {
1275                 /* edge is unique when it differs from next edge, or is last */
1276                 if (ed->v1 != (ed + 1)->v1 || ed->v2 != (ed + 1)->v2) {
1277                         med->v1 = ed->v1;
1278                         med->v2 = ed->v2;
1279                         if (use_old == false || ed->is_draw) med->flag = ME_EDGEDRAW | ME_EDGERENDER;
1280                         if (ed->is_loose) med->flag |= ME_LOOSEEDGE;
1281
1282                         /* order is swapped so extruding this edge as a surface wont flip face normals
1283                          * with cyclic curves */
1284                         if (ed->v1 + 1 != ed->v2) {
1285                                 SWAP(unsigned int, med->v1, med->v2);
1286                         }
1287                         med++;
1288                 }
1289                 else {
1290                         /* equal edge, we merge the drawflag */
1291                         (ed + 1)->is_draw |= ed->is_draw;
1292                 }
1293         }
1294         /* last edge */
1295         med->v1 = ed->v1;
1296         med->v2 = ed->v2;
1297         med->flag = ME_EDGEDRAW;
1298         if (ed->is_loose) med->flag |= ME_LOOSEEDGE;
1299         med->flag |= ME_EDGERENDER;
1300
1301         MEM_freeN(edsort);
1302
1303         /* set edge members of mloops */
1304         hash = BLI_edgehash_new_ex(__func__, totedge_final);
1305         for (edge_index = 0, med = medge; edge_index < totedge_final; edge_index++, med++) {
1306                 BLI_edgehash_insert(hash, med->v1, med->v2, POINTER_FROM_UINT(edge_index));
1307         }
1308
1309         mpoly = allpoly;
1310         for (a = 0; a < totpoly; a++, mpoly++) {
1311                 MLoop *ml, *ml_next;
1312                 int i = mpoly->totloop;
1313
1314                 ml_next = allloop + mpoly->loopstart;  /* first loop */
1315                 ml = &ml_next[i - 1];                  /* last loop */
1316
1317                 while (i-- != 0) {
1318                         ml->e = POINTER_AS_UINT(BLI_edgehash_lookup(hash, ml->v, ml_next->v));
1319                         ml = ml_next;
1320                         ml_next++;
1321                 }
1322         }
1323
1324         BLI_edgehash_free(hash, NULL);
1325
1326         *r_medge = medge;
1327         *r_totedge = totedge_final;
1328 }
1329
1330 /**
1331  * If the mesh is from a very old blender version,
1332  * convert mface->edcode to edge drawflags
1333  */
1334 void BKE_mesh_calc_edges_legacy(Mesh *me, const bool use_old)
1335 {
1336         MEdge *medge;
1337         int totedge = 0;
1338
1339         mesh_calc_edges_mdata(
1340                 me->mvert, me->mface, me->mloop, me->mpoly,
1341                 me->totvert, me->totface, me->totloop, me->totpoly,
1342                 use_old, &medge, &totedge);
1343
1344         if (totedge == 0) {
1345                 /* flag that mesh has edges */
1346                 me->medge = medge;
1347                 me->totedge = 0;
1348                 return;
1349         }
1350
1351         medge = CustomData_add_layer(&me->edata, CD_MEDGE, CD_ASSIGN, medge, totedge);
1352         me->medge = medge;
1353         me->totedge = totedge;
1354
1355         BKE_mesh_strip_loose_faces(me);
1356 }
1357
1358
1359 /**
1360  * Calculate edges from polygons
1361  *
1362  * \param mesh: The mesh to add edges into
1363  * \param update: When true create new edges co-exist
1364  */
1365 void BKE_mesh_calc_edges(Mesh *mesh, bool update, const bool select)
1366 {
1367         CustomData edata;
1368         EdgeHashIterator *ehi;
1369         MPoly *mp;
1370         MEdge *med, *med_orig;
1371         EdgeHash *eh;
1372         unsigned int eh_reserve;
1373         int i, totedge, totpoly = mesh->totpoly;
1374         int med_index;
1375         /* select for newly created meshes which are selected [#25595] */
1376         const short ed_flag = (ME_EDGEDRAW | ME_EDGERENDER) | (select ? SELECT : 0);
1377
1378         if (mesh->totedge == 0)
1379                 update = false;
1380
1381         eh_reserve = max_ii(update ? mesh->totedge : 0, BLI_EDGEHASH_SIZE_GUESS_FROM_POLYS(totpoly));
1382         eh = BLI_edgehash_new_ex(__func__, eh_reserve);
1383
1384         if (update) {
1385                 /* assume existing edges are valid
1386                  * useful when adding more faces and generating edges from them */
1387                 med = mesh->medge;
1388                 for (i = 0; i < mesh->totedge; i++, med++)
1389                         BLI_edgehash_insert(eh, med->v1, med->v2, med);
1390         }
1391
1392         /* mesh loops (bmesh only) */
1393         for (mp = mesh->mpoly, i = 0; i < totpoly; mp++, i++) {
1394                 MLoop *l = &mesh->mloop[mp->loopstart];
1395                 int j, v_prev = (l + (mp->totloop - 1))->v;
1396                 for (j = 0; j < mp->totloop; j++, l++) {
1397                         if (v_prev != l->v) {
1398                                 void **val_p;
1399                                 if (!BLI_edgehash_ensure_p(eh, v_prev, l->v, &val_p)) {
1400                                         *val_p = NULL;
1401                                 }
1402                         }
1403                         v_prev = l->v;
1404                 }
1405         }
1406
1407         totedge = BLI_edgehash_len(eh);
1408
1409         /* write new edges into a temporary CustomData */
1410         CustomData_reset(&edata);
1411         CustomData_add_layer(&edata, CD_MEDGE, CD_CALLOC, NULL, totedge);
1412
1413         med = CustomData_get_layer(&edata, CD_MEDGE);
1414         for (ehi = BLI_edgehashIterator_new(eh), i = 0;
1415              BLI_edgehashIterator_isDone(ehi) == false;
1416              BLI_edgehashIterator_step(ehi), ++i, ++med)
1417         {
1418                 if (update && (med_orig = BLI_edgehashIterator_getValue(ehi))) {
1419                         *med = *med_orig; /* copy from the original */
1420                 }
1421                 else {
1422                         BLI_edgehashIterator_getKey(ehi, &med->v1, &med->v2);
1423                         med->flag = ed_flag;
1424                 }
1425
1426                 /* store the new edge index in the hash value */
1427                 BLI_edgehashIterator_setValue(ehi, POINTER_FROM_INT(i));
1428         }
1429         BLI_edgehashIterator_free(ehi);
1430
1431         if (mesh->totpoly) {
1432                 /* second pass, iterate through all loops again and assign
1433                  * the newly created edges to them. */
1434                 for (mp = mesh->mpoly, i = 0; i < mesh->totpoly; mp++, i++) {
1435                         MLoop *l = &mesh->mloop[mp->loopstart];
1436                         MLoop *l_prev = (l + (mp->totloop - 1));
1437                         int j;
1438                         for (j = 0; j < mp->totloop; j++, l++) {
1439                                 /* lookup hashed edge index */
1440                                 med_index = POINTER_AS_INT(BLI_edgehash_lookup(eh, l_prev->v, l->v));
1441                                 l_prev->e = med_index;
1442                                 l_prev = l;
1443                         }
1444                 }
1445         }
1446
1447         /* free old CustomData and assign new one */
1448         CustomData_free(&mesh->edata, mesh->totedge);
1449         mesh->edata = edata;
1450         mesh->totedge = totedge;
1451
1452         mesh->medge = CustomData_get_layer(&mesh->edata, CD_MEDGE);
1453
1454         BLI_edgehash_free(eh, NULL);
1455 }
1456
1457 void BKE_mesh_calc_edges_loose(Mesh *mesh)
1458 {
1459         MEdge *med = mesh->medge;
1460         for (int i = 0; i < mesh->totedge; i++, med++) {
1461                 med->flag |= ME_LOOSEEDGE;
1462         }
1463         MLoop *ml = mesh->mloop;
1464         for (int i = 0; i < mesh->totloop; i++, ml++) {
1465                 mesh->medge[ml->e].flag &= ~ME_LOOSEEDGE;
1466         }
1467 }
1468
1469 /**
1470  * Calculate/create edges from tessface data
1471  *
1472  * \param mesh: The mesh to add edges into
1473  */
1474
1475 void BKE_mesh_calc_edges_tessface(Mesh *mesh)
1476 {
1477         CustomData edgeData;
1478         EdgeSetIterator *ehi;
1479         MFace *mf = mesh->mface;
1480         MEdge *med;
1481         EdgeSet *eh;
1482         int i, *index, numEdges, numFaces = mesh->totface;
1483
1484         eh = BLI_edgeset_new_ex(__func__, BLI_EDGEHASH_SIZE_GUESS_FROM_POLYS(numFaces));
1485
1486         for (i = 0; i < numFaces; i++, mf++) {
1487                 BLI_edgeset_add(eh, mf->v1, mf->v2);
1488                 BLI_edgeset_add(eh, mf->v2, mf->v3);
1489
1490                 if (mf->v4) {
1491                         BLI_edgeset_add(eh, mf->v3, mf->v4);
1492                         BLI_edgeset_add(eh, mf->v4, mf->v1);
1493                 }
1494                 else {
1495                         BLI_edgeset_add(eh, mf->v3, mf->v1);
1496                 }
1497         }
1498
1499         numEdges = BLI_edgeset_len(eh);
1500
1501         /* write new edges into a temporary CustomData */
1502         CustomData_reset(&edgeData);
1503         CustomData_add_layer(&edgeData, CD_MEDGE, CD_CALLOC, NULL, numEdges);
1504         CustomData_add_layer(&edgeData, CD_ORIGINDEX, CD_CALLOC, NULL, numEdges);
1505
1506         med = CustomData_get_layer(&edgeData, CD_MEDGE);
1507         index = CustomData_get_layer(&edgeData, CD_ORIGINDEX);
1508
1509         for (ehi = BLI_edgesetIterator_new(eh), i = 0;
1510              BLI_edgesetIterator_isDone(ehi) == false;
1511              BLI_edgesetIterator_step(ehi), i++, med++, index++)
1512         {
1513                 BLI_edgesetIterator_getKey(ehi, &med->v1, &med->v2);
1514
1515                 med->flag = ME_EDGEDRAW | ME_EDGERENDER;
1516                 *index = ORIGINDEX_NONE;
1517         }
1518         BLI_edgesetIterator_free(ehi);
1519
1520         /* free old CustomData and assign new one */
1521         CustomData_free(&mesh->edata, mesh->totedge);
1522         mesh->edata = edgeData;
1523         mesh->totedge = numEdges;
1524
1525         mesh->medge = CustomData_get_layer(&mesh->edata, CD_MEDGE);
1526
1527         BLI_edgeset_free(eh);
1528 }
1529
1530 /** \} */