Merge branch 'blender2.7'
[blender.git] / source / blender / blenkernel / intern / mesh_validate.c
1 /*
2  * This program is free software; you can redistribute it and/or
3  * modify it under the terms of the GNU General Public License
4  * as published by the Free Software Foundation; either version 2
5  * of the License, or (at your option) any later version.
6  *
7  * This program is distributed in the hope that it will be useful,
8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
10  * GNU General Public License for more details.
11  *
12  * You should have received a copy of the GNU General Public License
13  * along with this program; if not, write to the Free Software Foundation,
14  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
15  *
16  * The Original Code is Copyright (C) 2011 Blender Foundation.
17  * All rights reserved.
18  */
19
20 /** \file
21  * \ingroup bke
22  */
23
24
25 #include <stdio.h>
26 #include <stdlib.h>
27 #include <string.h>
28 #include <limits.h>
29
30 #include "CLG_log.h"
31
32 #include "DNA_mesh_types.h"
33 #include "DNA_meshdata_types.h"
34 #include "DNA_object_types.h"
35
36 #include "BLI_sys_types.h"
37
38 #include "BLI_utildefines.h"
39 #include "BLI_edgehash.h"
40 #include "BLI_math_base.h"
41 #include "BLI_math_vector.h"
42
43 #include "BKE_customdata.h"
44 #include "BKE_deform.h"
45 #include "BKE_mesh.h"
46
47 #include "DEG_depsgraph.h"
48
49 #include "MEM_guardedalloc.h"
50
51 /* loop v/e are unsigned, so using max uint_32 value as invalid marker... */
52 #define INVALID_LOOP_EDGE_MARKER 4294967295u
53
54 static CLG_LogRef LOG = {"bke.mesh"};
55
56 /** \name Internal functions
57  * \{ */
58
59 typedef union {
60         uint32_t verts[2];
61         int64_t edval;
62 } EdgeUUID;
63
64 typedef struct SortFace {
65         EdgeUUID     es[4];
66         unsigned int index;
67 } SortFace;
68
69 /* Used to detect polys (faces) using exactly the same vertices. */
70 /* Used to detect loops used by no (disjoint) or more than one (intersect) polys. */
71 typedef struct SortPoly {
72         int *verts;
73         int numverts;
74         int loopstart;
75         unsigned int index;
76         bool invalid;  /* Poly index. */
77 } SortPoly;
78
79 static void edge_store_assign(uint32_t verts[2],  const uint32_t v1, const uint32_t v2)
80 {
81         if (v1 < v2) {
82                 verts[0] = v1;
83                 verts[1] = v2;
84         }
85         else {
86                 verts[0] = v2;
87                 verts[1] = v1;
88         }
89 }
90
91 static void edge_store_from_mface_quad(EdgeUUID es[4], MFace *mf)
92 {
93         edge_store_assign(es[0].verts, mf->v1, mf->v2);
94         edge_store_assign(es[1].verts, mf->v2, mf->v3);
95         edge_store_assign(es[2].verts, mf->v3, mf->v4);
96         edge_store_assign(es[3].verts, mf->v4, mf->v1);
97 }
98
99 static void edge_store_from_mface_tri(EdgeUUID es[4], MFace *mf)
100 {
101         edge_store_assign(es[0].verts, mf->v1, mf->v2);
102         edge_store_assign(es[1].verts, mf->v2, mf->v3);
103         edge_store_assign(es[2].verts, mf->v3, mf->v1);
104         es[3].verts[0] = es[3].verts[1] = UINT_MAX;
105 }
106
107 static int int64_cmp(const void *v1, const void *v2)
108 {
109         const int64_t x1 = *(const int64_t *)v1;
110         const int64_t x2 = *(const int64_t *)v2;
111
112         if (x1 > x2) {
113                 return 1;
114         }
115         else if (x1 < x2) {
116                 return -1;
117         }
118
119         return 0;
120 }
121
122 static int search_face_cmp(const void *v1, const void *v2)
123 {
124         const SortFace *sfa = v1, *sfb = v2;
125
126         if (sfa->es[0].edval > sfb->es[0].edval) {
127                 return 1;
128         }
129         else if (sfa->es[0].edval < sfb->es[0].edval) {
130                 return -1;
131         }
132
133         else if (sfa->es[1].edval > sfb->es[1].edval) {
134                 return 1;
135         }
136         else if (sfa->es[1].edval < sfb->es[1].edval) {
137                 return -1;
138         }
139
140         else if (sfa->es[2].edval > sfb->es[2].edval) {
141                 return 1;
142         }
143         else if (sfa->es[2].edval < sfb->es[2].edval) {
144                 return -1;
145         }
146
147         else if (sfa->es[3].edval > sfb->es[3].edval) {
148                 return 1;
149         }
150         else if (sfa->es[3].edval < sfb->es[3].edval) {
151                 return -1;
152         }
153
154         return 0;
155 }
156
157 /* TODO check there is not some standard define of this somewhere! */
158 static int int_cmp(const void *v1, const void *v2)
159 {
160         return *(int *)v1 > *(int *)v2 ? 1 : *(int *)v1 < *(int *)v2 ? -1 : 0;
161 }
162
163 static int search_poly_cmp(const void *v1, const void *v2)
164 {
165         const SortPoly *sp1 = v1, *sp2 = v2;
166         const int max_idx = sp1->numverts > sp2->numverts ? sp2->numverts : sp1->numverts;
167         int idx;
168
169         /* Reject all invalid polys at end of list! */
170         if (sp1->invalid || sp2->invalid)
171                 return sp1->invalid ? (sp2->invalid ? 0 : 1) : -1;
172         /* Else, sort on first non-equal verts (remember verts of valid polys are sorted). */
173         for (idx = 0; idx < max_idx; idx++) {
174                 const int v1_i = sp1->verts[idx];
175                 const int v2_i = sp2->verts[idx];
176                 if (v1_i != v2_i) {
177                         return (v1_i > v2_i) ? 1 : -1;
178                 }
179         }
180         return sp1->numverts > sp2->numverts ? 1 : sp1->numverts < sp2->numverts ? -1 : 0;
181 }
182
183 static int search_polyloop_cmp(const void *v1, const void *v2)
184 {
185         const SortPoly *sp1 = v1, *sp2 = v2;
186
187         /* Reject all invalid polys at end of list! */
188         if (sp1->invalid || sp2->invalid)
189                 return sp1->invalid && sp2->invalid ? 0 : sp1->invalid ? 1 : -1;
190         /* Else, sort on loopstart. */
191         return sp1->loopstart > sp2->loopstart ? 1 : sp1->loopstart < sp2->loopstart ? -1 : 0;
192 }
193 /** \} */
194
195
196
197 /* -------------------------------------------------------------------- */
198 /** \name Mesh Validation
199  * \{ */
200
201 #define PRINT_MSG(...) if(do_verbose) CLOG_INFO(&LOG, 1, __VA_ARGS__)
202
203 #define PRINT_ERR(...) do { \
204                 is_valid = false; \
205                 if (do_verbose) { CLOG_ERROR(&LOG, __VA_ARGS__); } \
206         } while(0)
207
208 /**
209  * Validate the mesh, \a do_fixes requires \a mesh to be non-null.
210  *
211  * \return false if no changes needed to be made.
212  */
213 bool BKE_mesh_validate_arrays(
214         Mesh *mesh,
215         MVert *mverts, unsigned int totvert,
216         MEdge *medges, unsigned int totedge,
217         MFace *mfaces, unsigned int totface,
218         MLoop *mloops, unsigned int totloop,
219         MPoly *mpolys, unsigned int totpoly,
220         MDeformVert *dverts, /* assume totvert length */
221         const bool do_verbose, const bool do_fixes,
222         bool *r_changed)
223 {
224 #define REMOVE_EDGE_TAG(_me) { _me->v2 = _me->v1; free_flag.edges = do_fixes; } (void)0
225 #define IS_REMOVED_EDGE(_me) (_me->v2 == _me->v1)
226
227 #define REMOVE_LOOP_TAG(_ml) { _ml->e = INVALID_LOOP_EDGE_MARKER; free_flag.polyloops = do_fixes; } (void)0
228 #define REMOVE_POLY_TAG(_mp) { _mp->totloop *= -1; free_flag.polyloops = do_fixes; } (void)0
229
230         MVert *mv = mverts;
231         MEdge *me;
232         MLoop *ml;
233         MPoly *mp;
234         unsigned int i, j;
235         int *v;
236
237         bool is_valid = true;
238
239         union {
240                 struct {
241                         int verts : 1;
242                         int verts_weight : 1;
243                         int loops_edge : 1;
244                 };
245                 int as_flag;
246         } fix_flag;
247
248         union {
249                 struct {
250                         int edges : 1;
251                         int faces : 1;
252                         /* This regroups loops and polys! */
253                         int polyloops : 1;
254                         int mselect : 1;
255                 };
256                 int as_flag;
257         } free_flag;
258
259         union {
260                 struct {
261                         int edges : 1;
262                 };
263                 int as_flag;
264         } recalc_flag;
265
266         EdgeHash *edge_hash = BLI_edgehash_new_ex(__func__, totedge);
267
268         BLI_assert(!(do_fixes && mesh == NULL));
269
270         fix_flag.as_flag = 0;
271         free_flag.as_flag = 0;
272         recalc_flag.as_flag = 0;
273
274         PRINT_MSG("verts(%u), edges(%u), loops(%u), polygons(%u)",
275                   totvert, totedge, totloop, totpoly);
276
277         if (totedge == 0 && totpoly != 0) {
278                 PRINT_ERR("\tLogical error, %u polygons and 0 edges", totpoly);
279                 recalc_flag.edges = do_fixes;
280         }
281
282         for (i = 0; i < totvert; i++, mv++) {
283                 bool fix_normal = true;
284
285                 for (j = 0; j < 3; j++) {
286                         if (!isfinite(mv->co[j])) {
287                                 PRINT_ERR("\tVertex %u: has invalid coordinate", i);
288
289                                 if (do_fixes) {
290                                         zero_v3(mv->co);
291
292                                         fix_flag.verts = true;
293                                 }
294                         }
295
296                         if (mv->no[j] != 0)
297                                 fix_normal = false;
298                 }
299
300                 if (fix_normal) {
301                         PRINT_ERR("\tVertex %u: has zero normal, assuming Z-up normal", i);
302                         if (do_fixes) {
303                                 mv->no[2] = SHRT_MAX;
304                                 fix_flag.verts = true;
305                         }
306                 }
307         }
308
309         for (i = 0, me = medges; i < totedge; i++, me++) {
310                 bool remove = false;
311
312                 if (me->v1 == me->v2) {
313                         PRINT_ERR("\tEdge %u: has matching verts, both %u", i, me->v1);
314                         remove = do_fixes;
315                 }
316                 if (me->v1 >= totvert) {
317                         PRINT_ERR("\tEdge %u: v1 index out of range, %u", i, me->v1);
318                         remove = do_fixes;
319                 }
320                 if (me->v2 >= totvert) {
321                         PRINT_ERR("\tEdge %u: v2 index out of range, %u", i, me->v2);
322                         remove = do_fixes;
323                 }
324
325                 if ((me->v1 != me->v2) && BLI_edgehash_haskey(edge_hash, me->v1, me->v2)) {
326                         PRINT_ERR("\tEdge %u: is a duplicate of %d", i,
327                                   POINTER_AS_INT(BLI_edgehash_lookup(edge_hash, me->v1, me->v2)));
328                         remove = do_fixes;
329                 }
330
331                 if (remove == false) {
332                         if (me->v1 != me->v2) {
333                                 BLI_edgehash_insert(edge_hash, me->v1, me->v2, POINTER_FROM_INT(i));
334                         }
335                 }
336                 else {
337                         REMOVE_EDGE_TAG(me);
338                 }
339         }
340
341         if (mfaces && !mpolys) {
342 #               define REMOVE_FACE_TAG(_mf) { _mf->v3 = 0; free_flag.faces = do_fixes; } (void)0
343 #               define CHECK_FACE_VERT_INDEX(a, b) \
344                                         if (mf->a == mf->b) { \
345                                                 PRINT_ERR("    face %u: verts invalid, " STRINGIFY(a) "/" STRINGIFY(b) " both %u", i, mf->a); \
346                                                 remove = do_fixes; \
347                                         } (void)0
348 #               define CHECK_FACE_EDGE(a, b) \
349                                         if (!BLI_edgehash_haskey(edge_hash, mf->a, mf->b)) { \
350                                                 PRINT_ERR("    face %u: edge " STRINGIFY(a) "/" STRINGIFY(b) \
351                                                           " (%u,%u) is missing edge data", i, mf->a, mf->b); \
352                                                 recalc_flag.edges = do_fixes; \
353                                         } (void)0
354
355                 MFace *mf;
356                 MFace *mf_prev;
357
358                 SortFace *sort_faces = MEM_callocN(sizeof(SortFace) * totface, "search faces");
359                 SortFace *sf;
360                 SortFace *sf_prev;
361                 unsigned int totsortface = 0;
362
363                 PRINT_ERR("No Polys, only tessellated Faces");
364
365                 for (i = 0, mf = mfaces, sf = sort_faces; i < totface; i++, mf++) {
366                         bool remove = false;
367                         int fidx;
368                         unsigned int fv[4];
369
370                         fidx = mf->v4 ? 3 : 2;
371                         do {
372                                 fv[fidx] = *(&(mf->v1) + fidx);
373                                 if (fv[fidx] >= totvert) {
374                                         PRINT_ERR("\tFace %u: 'v%d' index out of range, %u", i, fidx + 1, fv[fidx]);
375                                         remove = do_fixes;
376                                 }
377                         } while (fidx--);
378
379                         if (remove == false) {
380                                 if (mf->v4) {
381                                         CHECK_FACE_VERT_INDEX(v1, v2);
382                                         CHECK_FACE_VERT_INDEX(v1, v3);
383                                         CHECK_FACE_VERT_INDEX(v1, v4);
384
385                                         CHECK_FACE_VERT_INDEX(v2, v3);
386                                         CHECK_FACE_VERT_INDEX(v2, v4);
387
388                                         CHECK_FACE_VERT_INDEX(v3, v4);
389                                 }
390                                 else {
391                                         CHECK_FACE_VERT_INDEX(v1, v2);
392                                         CHECK_FACE_VERT_INDEX(v1, v3);
393
394                                         CHECK_FACE_VERT_INDEX(v2, v3);
395                                 }
396
397                                 if (remove == false) {
398                                         if (totedge) {
399                                                 if (mf->v4) {
400                                                         CHECK_FACE_EDGE(v1, v2);
401                                                         CHECK_FACE_EDGE(v2, v3);
402                                                         CHECK_FACE_EDGE(v3, v4);
403                                                         CHECK_FACE_EDGE(v4, v1);
404                                                 }
405                                                 else {
406                                                         CHECK_FACE_EDGE(v1, v2);
407                                                         CHECK_FACE_EDGE(v2, v3);
408                                                         CHECK_FACE_EDGE(v3, v1);
409                                                 }
410                                         }
411
412                                         sf->index = i;
413
414                                         if (mf->v4) {
415                                                 edge_store_from_mface_quad(sf->es, mf);
416
417                                                 qsort(sf->es, 4, sizeof(int64_t), int64_cmp);
418                                         }
419                                         else {
420                                                 edge_store_from_mface_tri(sf->es, mf);
421                                                 qsort(sf->es, 3, sizeof(int64_t), int64_cmp);
422                                         }
423
424                                         totsortface++;
425                                         sf++;
426                                 }
427                         }
428
429                         if (remove) {
430                                 REMOVE_FACE_TAG(mf);
431                         }
432                 }
433
434                 qsort(sort_faces, totsortface, sizeof(SortFace), search_face_cmp);
435
436                 sf = sort_faces;
437                 sf_prev = sf;
438                 sf++;
439
440                 for (i = 1; i < totsortface; i++, sf++) {
441                         bool remove = false;
442
443                         /* on a valid mesh, code below will never run */
444                         if (memcmp(sf->es, sf_prev->es, sizeof(sf_prev->es)) == 0) {
445                                 mf = mfaces + sf->index;
446
447                                 if (do_verbose) {
448                                         mf_prev = mfaces + sf_prev->index;
449
450                                         if (mf->v4) {
451                                                 PRINT_ERR("\tFace %u & %u: are duplicates (%u,%u,%u,%u) (%u,%u,%u,%u)",
452                                                           sf->index, sf_prev->index, mf->v1, mf->v2, mf->v3, mf->v4,
453                                                           mf_prev->v1, mf_prev->v2, mf_prev->v3, mf_prev->v4);
454                                         }
455                                         else {
456                                                 PRINT_ERR("\tFace %u & %u: are duplicates (%u,%u,%u) (%u,%u,%u)",
457                                                           sf->index, sf_prev->index, mf->v1, mf->v2, mf->v3,
458                                                           mf_prev->v1, mf_prev->v2, mf_prev->v3);
459                                         }
460                                 }
461
462                                 remove = do_fixes;
463                         }
464                         else {
465                                 sf_prev = sf;
466                         }
467
468                         if (remove) {
469                                 REMOVE_FACE_TAG(mf);
470                         }
471                 }
472
473                 MEM_freeN(sort_faces);
474
475 #               undef REMOVE_FACE_TAG
476 #               undef CHECK_FACE_VERT_INDEX
477 #               undef CHECK_FACE_EDGE
478         }
479
480         /* Checking loops and polys is a bit tricky, as they are quite intricate...
481          *
482          * Polys must have:
483          * - a valid loopstart value.
484          * - a valid totloop value (>= 3 and loopstart+totloop < me.totloop).
485          *
486          * Loops must have:
487          * - a valid v value.
488          * - a valid e value (corresponding to the edge it defines with the next loop in poly).
489          *
490          * Also, loops not used by polys can be discarded.
491          * And "intersecting" loops (i.e. loops used by more than one poly) are invalid,
492          * so be sure to leave at most one poly per loop!
493          */
494         {
495                 SortPoly *sort_polys = MEM_callocN(sizeof(SortPoly) * totpoly, "mesh validate's sort_polys");
496                 SortPoly *prev_sp, *sp = sort_polys;
497                 int prev_end;
498
499                 for (i = 0, mp = mpolys; i < totpoly; i++, mp++, sp++) {
500                         sp->index = i;
501
502                         if (mp->loopstart < 0 || mp->totloop < 3) {
503                                 /* Invalid loop data. */
504                                 PRINT_ERR("\tPoly %u is invalid (loopstart: %d, totloop: %d)",
505                                           sp->index, mp->loopstart, mp->totloop);
506                                 sp->invalid = true;
507                         }
508                         else if (mp->loopstart + mp->totloop > totloop) {
509                                 /* Invalid loop data. */
510                                 PRINT_ERR("\tPoly %u uses loops out of range (loopstart: %d, loopend: %d, max nbr of loops: %u)",
511                                           sp->index, mp->loopstart, mp->loopstart + mp->totloop - 1, totloop - 1);
512                                 sp->invalid = true;
513                         }
514                         else {
515                                 /* Poly itself is valid, for now. */
516                                 int v1, v2; /* v1 is prev loop vert idx, v2 is current loop one. */
517                                 sp->invalid = false;
518                                 sp->verts = v = MEM_mallocN(sizeof(int) * mp->totloop, "Vert idx of SortPoly");
519                                 sp->numverts = mp->totloop;
520                                 sp->loopstart = mp->loopstart;
521
522                                 /* Ideally we would only have to do that once on all vertices before we start checking each poly, but
523                                  * several polys can use same vert, so we have to ensure here all verts of current poly are cleared. */
524                                 for (j = 0, ml = &mloops[sp->loopstart]; j < mp->totloop; j++, ml++) {
525                                         if (ml->v < totvert) {
526                                                 mverts[ml->v].flag &= ~ME_VERT_TMP_TAG;
527                                         }
528                                 }
529
530                                 /* Test all poly's loops' vert idx. */
531                                 for (j = 0, ml = &mloops[sp->loopstart]; j < mp->totloop; j++, ml++, v++) {
532                                         if (ml->v >= totvert) {
533                                                 /* Invalid vert idx. */
534                                                 PRINT_ERR("\tLoop %u has invalid vert reference (%u)", sp->loopstart + j, ml->v);
535                                                 sp->invalid = true;
536                                         }
537                                         else if (mverts[ml->v].flag & ME_VERT_TMP_TAG) {
538                                                 PRINT_ERR("\tPoly %u has duplicated vert reference at corner (%u)", i, j);
539                                                 sp->invalid = true;
540                                         }
541                                         else {
542                                                 mverts[ml->v].flag |= ME_VERT_TMP_TAG;
543                                         }
544                                         *v = ml->v;
545                                 }
546
547                                 if (sp->invalid)
548                                         continue;
549
550                                 /* Test all poly's loops. */
551                                 for (j = 0, ml = &mloops[sp->loopstart]; j < mp->totloop; j++, ml++) {
552                                         v1 = ml->v;
553                                         v2 = mloops[sp->loopstart + (j + 1) % mp->totloop].v;
554                                         if (!BLI_edgehash_haskey(edge_hash, v1, v2)) {
555                                                 /* Edge not existing. */
556                                                 PRINT_ERR("\tPoly %u needs missing edge (%d, %d)", sp->index, v1, v2);
557                                                 if (do_fixes)
558                                                         recalc_flag.edges = true;
559                                                 else
560                                                         sp->invalid = true;
561                                         }
562                                         else if (ml->e >= totedge) {
563                                                 /* Invalid edge idx.
564                                                  * We already know from previous text that a valid edge exists, use it (if allowed)! */
565                                                 if (do_fixes) {
566                                                         int prev_e = ml->e;
567                                                         ml->e = POINTER_AS_INT(BLI_edgehash_lookup(edge_hash, v1, v2));
568                                                         fix_flag.loops_edge = true;
569                                                         PRINT_ERR("\tLoop %u has invalid edge reference (%d), fixed using edge %u",
570                                                                   sp->loopstart + j, prev_e, ml->e);
571                                                 }
572                                                 else {
573                                                         PRINT_ERR("\tLoop %u has invalid edge reference (%u)", sp->loopstart + j, ml->e);
574                                                         sp->invalid = true;
575                                                 }
576                                         }
577                                         else {
578                                                 me = &medges[ml->e];
579                                                 if (IS_REMOVED_EDGE(me) || !((me->v1 == v1 && me->v2 == v2) || (me->v1 == v2 && me->v2 == v1))) {
580                                                         /* The pointed edge is invalid (tagged as removed, or vert idx mismatch),
581                                                          * and we already know from previous test that a valid one exists, use it (if allowed)! */
582                                                         if (do_fixes) {
583                                                                 int prev_e = ml->e;
584                                                                 ml->e = POINTER_AS_INT(BLI_edgehash_lookup(edge_hash, v1, v2));
585                                                                 fix_flag.loops_edge = true;
586                                                                 PRINT_ERR("\tPoly %u has invalid edge reference (%d, is_removed: %d), fixed using edge %u",
587                                                                           sp->index, prev_e, IS_REMOVED_EDGE(me), ml->e);
588                                                         }
589                                                         else {
590                                                                 PRINT_ERR("\tPoly %u has invalid edge reference (%u)", sp->index, ml->e);
591                                                                 sp->invalid = true;
592                                                         }
593                                                 }
594                                         }
595                                 }
596
597                                 if (!sp->invalid) {
598                                         /* Needed for checking polys using same verts below. */
599                                         qsort(sp->verts, sp->numverts, sizeof(int), int_cmp);
600                                 }
601                         }
602                 }
603
604                 /* Second check pass, testing polys using the same verts. */
605                 qsort(sort_polys, totpoly, sizeof(SortPoly), search_poly_cmp);
606                 sp = prev_sp = sort_polys;
607                 sp++;
608
609                 for (i = 1; i < totpoly; i++, sp++) {
610                         int p1_nv = sp->numverts, p2_nv = prev_sp->numverts;
611                         const int *p1_v = sp->verts, *p2_v = prev_sp->verts;
612
613                         if (sp->invalid) {
614                                 /* break, because all known invalid polys have been put at the end by qsort with search_poly_cmp. */
615                                 break;
616                         }
617
618                         /* Test same polys. */
619                         if ((p1_nv == p2_nv) && (memcmp(p1_v, p2_v, p1_nv * sizeof(*p1_v)) == 0)) {
620                                 if (do_verbose) {
621                                         // TODO: convert list to string
622                                         PRINT_ERR("\tPolys %u and %u use same vertices (%d",
623                                                   prev_sp->index, sp->index, *p1_v);
624                                         for (j = 1; j < p1_nv; j++)
625                                                 PRINT_ERR(", %d", p1_v[j]);
626                                         PRINT_ERR("), considering poly %u as invalid.", sp->index);
627                                 }
628                                 else {
629                                         is_valid = false;
630                                 }
631                                 sp->invalid = true;
632                         }
633                         else {
634                                 prev_sp = sp;
635                         }
636                 }
637
638                 /* Third check pass, testing loops used by none or more than one poly. */
639                 qsort(sort_polys, totpoly, sizeof(SortPoly), search_polyloop_cmp);
640                 sp = sort_polys;
641                 prev_sp = NULL;
642                 prev_end = 0;
643                 for (i = 0; i < totpoly; i++, sp++) {
644                         /* Free this now, we don't need it anymore, and avoid us another loop! */
645                         if (sp->verts)
646                                 MEM_freeN(sp->verts);
647
648                         /* Note above prev_sp: in following code, we make sure it is always valid poly (or NULL). */
649                         if (sp->invalid) {
650                                 if (do_fixes) {
651                                         REMOVE_POLY_TAG((&mpolys[sp->index]));
652                                         /* DO NOT REMOVE ITS LOOPS!!!
653                                          * As already invalid polys are at the end of the SortPoly list, the loops they
654                                          * were the only users have already been tagged as "to remove" during previous
655                                          * iterations, and we don't want to remove some loops that may be used by
656                                          * another valid poly! */
657                                 }
658                         }
659                         /* Test loops users. */
660                         else {
661                                 /* Unused loops. */
662                                 if (prev_end < sp->loopstart) {
663                                         for (j = prev_end, ml = &mloops[prev_end]; j < sp->loopstart; j++, ml++) {
664                                                 PRINT_ERR("\tLoop %u is unused.", j);
665                                                 if (do_fixes)
666                                                         REMOVE_LOOP_TAG(ml);
667                                         }
668                                         prev_end = sp->loopstart + sp->numverts;
669                                         prev_sp = sp;
670                                 }
671                                 /* Multi-used loops. */
672                                 else if (prev_end > sp->loopstart) {
673                                         PRINT_ERR("\tPolys %u and %u share loops from %d to %d, considering poly %u as invalid.",
674                                                   prev_sp->index, sp->index, sp->loopstart, prev_end, sp->index);
675                                         if (do_fixes) {
676                                                 REMOVE_POLY_TAG((&mpolys[sp->index]));
677                                                 /* DO NOT REMOVE ITS LOOPS!!!
678                                                  * They might be used by some next, valid poly!
679                                                  * Just not updating prev_end/prev_sp vars is enough to ensure the loops
680                                                  * effectively no more needed will be marked as "to be removed"! */
681                                         }
682                                 }
683                                 else {
684                                         prev_end = sp->loopstart + sp->numverts;
685                                         prev_sp = sp;
686                                 }
687                         }
688                 }
689                 /* We may have some remaining unused loops to get rid of! */
690                 if (prev_end < totloop) {
691                         for (j = prev_end, ml = &mloops[prev_end]; j < totloop; j++, ml++) {
692                                 PRINT_ERR("\tLoop %u is unused.", j);
693                                 if (do_fixes)
694                                         REMOVE_LOOP_TAG(ml);
695                         }
696                 }
697
698                 MEM_freeN(sort_polys);
699         }
700
701         BLI_edgehash_free(edge_hash, NULL);
702
703         /* fix deform verts */
704         if (dverts) {
705                 MDeformVert *dv;
706                 for (i = 0, dv = dverts; i < totvert; i++, dv++) {
707                         MDeformWeight *dw;
708
709                         for (j = 0, dw = dv->dw; j < dv->totweight; j++, dw++) {
710                                 /* note, greater than max defgroups is accounted for in our code, but not < 0 */
711                                 if (!isfinite(dw->weight)) {
712                                         PRINT_ERR("\tVertex deform %u, group %d has weight: %f", i, dw->def_nr, dw->weight);
713                                         if (do_fixes) {
714                                                 dw->weight = 0.0f;
715                                                 fix_flag.verts_weight = true;
716                                         }
717                                 }
718                                 else if (dw->weight < 0.0f || dw->weight > 1.0f) {
719                                         PRINT_ERR("\tVertex deform %u, group %d has weight: %f", i, dw->def_nr, dw->weight);
720                                         if (do_fixes) {
721                                                 CLAMP(dw->weight, 0.0f, 1.0f);
722                                                 fix_flag.verts_weight = true;
723                                         }
724                                 }
725
726                                 if (dw->def_nr < 0) {
727                                         PRINT_ERR("\tVertex deform %u, has invalid group %d", i, dw->def_nr);
728                                         if (do_fixes) {
729                                                 defvert_remove_group(dv, dw);
730                                                 fix_flag.verts_weight = true;
731
732                                                 if (dv->dw) {
733                                                         /* re-allocated, the new values compensate for stepping
734                                                          * within the for loop and may not be valid */
735                                                         j--;
736                                                         dw = dv->dw + j;
737
738                                                 }
739                                                 else { /* all freed */
740                                                         break;
741                                                 }
742                                         }
743                                 }
744                         }
745                 }
746         }
747
748 #   undef REMOVE_EDGE_TAG
749 #   undef IS_REMOVED_EDGE
750 #   undef REMOVE_LOOP_TAG
751 #   undef REMOVE_POLY_TAG
752
753         if (mesh) {
754                 if (free_flag.faces) {
755                         BKE_mesh_strip_loose_faces(mesh);
756                 }
757
758                 if (free_flag.polyloops) {
759                         BKE_mesh_strip_loose_polysloops(mesh);
760                 }
761
762                 if (free_flag.edges) {
763                         BKE_mesh_strip_loose_edges(mesh);
764                 }
765
766                 if (recalc_flag.edges) {
767                         BKE_mesh_calc_edges(mesh, true, false);
768                 }
769         }
770
771         if (mesh && mesh->mselect) {
772                 MSelect *msel;
773
774                 for (i = 0, msel = mesh->mselect; i < mesh->totselect; i++, msel++) {
775                         int tot_elem = 0;
776
777                         if (msel->index < 0) {
778                                 PRINT_ERR("\tMesh select element %u type %d index is negative, "
779                                           "resetting selection stack.\n", i, msel->type);
780                                 free_flag.mselect = do_fixes;
781                                 break;
782                         }
783
784                         switch (msel->type) {
785                                 case ME_VSEL:
786                                         tot_elem = mesh->totvert;
787                                         break;
788                                 case ME_ESEL:
789                                         tot_elem = mesh->totedge;
790                                         break;
791                                 case ME_FSEL:
792                                         tot_elem = mesh->totface;
793                                         break;
794                         }
795
796                         if (msel->index > tot_elem) {
797                                 PRINT_ERR("\tMesh select element %u type %d index %d is larger than data array size %d, "
798                                           "resetting selection stack.\n", i, msel->type, msel->index, tot_elem);
799
800                                 free_flag.mselect = do_fixes;
801                                 break;
802                         }
803                 }
804
805                 if (free_flag.mselect) {
806                         MEM_freeN(mesh->mselect);
807                         mesh->mselect = NULL;
808                         mesh->totselect = 0;
809                 }
810         }
811
812         PRINT_MSG("%s: finished\n\n", __func__);
813
814         *r_changed = (fix_flag.as_flag || free_flag.as_flag || recalc_flag.as_flag);
815
816         BLI_assert((*r_changed == false) || (do_fixes == true));
817
818         return is_valid;
819 }
820
821 static bool mesh_validate_customdata(
822         CustomData *data, CustomDataMask mask, const uint totitems,
823         const bool do_verbose, const bool do_fixes,
824         bool *r_change)
825 {
826         bool is_valid = true;
827         bool has_fixes = false;
828         int i = 0;
829
830         PRINT_MSG("%s: Checking %d CD layers...\n", __func__, data->totlayer);
831
832         while (i < data->totlayer) {
833                 CustomDataLayer *layer = &data->layers[i];
834                 bool ok = true;
835
836                 if (CustomData_layertype_is_singleton(layer->type)) {
837                         const int layer_tot = CustomData_number_of_layers(data, layer->type);
838                         if (layer_tot > 1) {
839                                 PRINT_ERR("\tCustomDataLayer type %d is a singleton, found %d in Mesh structure\n",
840                                           layer->type, layer_tot);
841                                 ok = false;
842                         }
843                 }
844
845                 if (mask != 0) {
846                         CustomDataMask layer_typemask = CD_TYPE_AS_MASK(layer->type);
847                         if ((layer_typemask & mask) == 0) {
848                                 PRINT_ERR("\tCustomDataLayer type %d which isn't in the mask\n",
849                                           layer->type);
850                                 ok = false;
851                         }
852                 }
853
854                 if (ok == false) {
855                         if (do_fixes) {
856                                 CustomData_free_layer(data, layer->type, 0, i);
857                                 has_fixes = true;
858                         }
859                 }
860
861                 if (ok) {
862                         if (CustomData_layer_validate(layer, totitems, do_fixes)) {
863                                 PRINT_ERR("\tCustomDataLayer type %d has some invalid data\n", layer->type);
864                                 has_fixes = do_fixes;
865                         }
866                         i++;
867                 }
868         }
869
870         PRINT_MSG("%s: Finished (is_valid=%d)\n\n", __func__, (int)!has_fixes);
871
872         *r_change = has_fixes;
873
874         return is_valid;
875 }
876
877 /**
878  * \returns is_valid.
879  */
880 bool BKE_mesh_validate_all_customdata(
881         CustomData *vdata, const uint totvert,
882         CustomData *edata, const uint totedge,
883         CustomData *ldata, const uint totloop,
884         CustomData *pdata, const uint totpoly,
885         const bool check_meshmask,
886         const bool do_verbose, const bool do_fixes,
887         bool *r_change)
888 {
889         bool is_valid = true;
890         bool is_change_v, is_change_e, is_change_l, is_change_p;
891         int tot_uvloop, tot_vcolloop;
892         CustomData_MeshMasks mask = {0};
893         if (check_meshmask) {
894                 mask = CD_MASK_MESH;
895         }
896
897         is_valid &= mesh_validate_customdata(vdata, mask.vmask, totvert, do_verbose, do_fixes, &is_change_v);
898         is_valid &= mesh_validate_customdata(edata, mask.emask, totedge, do_verbose, do_fixes, &is_change_e);
899         is_valid &= mesh_validate_customdata(ldata, mask.lmask, totloop, do_verbose, do_fixes, &is_change_l);
900         is_valid &= mesh_validate_customdata(pdata, mask.pmask, totpoly, do_verbose, do_fixes, &is_change_p);
901
902         tot_uvloop = CustomData_number_of_layers(ldata, CD_MLOOPUV);
903         tot_vcolloop = CustomData_number_of_layers(ldata, CD_MLOOPCOL);
904         if (tot_uvloop > MAX_MTFACE) {
905                 PRINT_ERR("\tMore UV layers than %d allowed, %d last ones won't be available for render, shaders, etc.\n",
906                           MAX_MTFACE, tot_uvloop - MAX_MTFACE);
907         }
908         if (tot_vcolloop > MAX_MCOL) {
909                 PRINT_ERR("\tMore VCol layers than %d allowed, %d last ones won't be available for render, shaders, etc.\n",
910                           MAX_MCOL, tot_vcolloop - MAX_MCOL);
911         }
912
913         /* check indices of clone/stencil */
914         if (do_fixes && CustomData_get_clone_layer(ldata, CD_MLOOPUV) >= tot_uvloop) {
915                 CustomData_set_layer_clone(ldata, CD_MLOOPUV, 0);
916                 is_change_l = true;
917         }
918         if (do_fixes && CustomData_get_stencil_layer(ldata, CD_MLOOPUV) >= tot_uvloop) {
919                 CustomData_set_layer_stencil(ldata, CD_MLOOPUV, 0);
920                 is_change_l = true;
921         }
922
923         *r_change = (is_change_v || is_change_e || is_change_l || is_change_p);
924
925         return is_valid;
926 }
927
928 /**
929  * Validates and corrects a Mesh.
930  *
931  * \returns true if a change is made.
932  */
933 bool BKE_mesh_validate(Mesh *me, const bool do_verbose, const bool cddata_check_mask)
934 {
935         bool is_valid = true;
936         bool changed;
937
938         if (do_verbose) {
939                 CLOG_INFO(&LOG, 0, "MESH: %s", me->id.name + 2);
940         }
941
942         is_valid &= BKE_mesh_validate_all_customdata(
943                 &me->vdata, me->totvert,
944                 &me->edata, me->totedge,
945                 &me->ldata, me->totloop,
946                 &me->pdata, me->totpoly,
947                 cddata_check_mask,
948                 do_verbose, true,
949                 &changed);
950
951         is_valid &= BKE_mesh_validate_arrays(
952                 me,
953                 me->mvert, me->totvert,
954                 me->medge, me->totedge,
955                 me->mface, me->totface,
956                 me->mloop, me->totloop,
957                 me->mpoly, me->totpoly,
958                 me->dvert,
959                 do_verbose, true,
960                 &changed);
961
962         if (changed) {
963                 DEG_id_tag_update(&me->id, ID_RECALC_GEOMETRY);
964                 return true;
965         }
966         else {
967                 return false;
968         }
969 }
970
971 /**
972  * Checks if a Mesh is valid without any modification. This is always verbose.
973  *
974  * \see  #DM_is_valid to call on derived meshes
975  *
976  * \returns is_valid.
977  */
978 bool BKE_mesh_is_valid(Mesh *me)
979 {
980         const bool do_verbose = true;
981         const bool do_fixes = false;
982
983         bool is_valid = true;
984         bool changed = true;
985
986         is_valid &= BKE_mesh_validate_all_customdata(
987                 &me->vdata, me->totvert,
988                 &me->edata, me->totedge,
989                 &me->ldata, me->totloop,
990                 &me->pdata, me->totpoly,
991                 false,  /* setting mask here isn't useful, gives false positives */
992                 do_verbose, do_fixes, &changed);
993
994         is_valid &= BKE_mesh_validate_arrays(
995                 me,
996                 me->mvert, me->totvert,
997                 me->medge, me->totedge,
998                 me->mface, me->totface,
999                 me->mloop, me->totloop,
1000                 me->mpoly, me->totpoly,
1001                 me->dvert,
1002                 do_verbose, do_fixes,
1003                 &changed);
1004
1005         BLI_assert(changed == false);
1006
1007         return is_valid;
1008 }
1009
1010 /**
1011  * Check all material indices of polygons are valid, invalid ones are set to 0.
1012  * \returns is_valid.
1013  */
1014 bool BKE_mesh_validate_material_indices(Mesh *me)
1015 {
1016         MPoly *mp;
1017         const int max_idx = max_ii(0, me->totcol - 1);
1018         const int totpoly = me->totpoly;
1019         int i;
1020         bool is_valid = true;
1021
1022         for (mp = me->mpoly, i = 0; i < totpoly; i++, mp++) {
1023                 if (mp->mat_nr > max_idx) {
1024                         mp->mat_nr = 0;
1025                         is_valid = false;
1026                 }
1027         }
1028
1029         if (!is_valid) {
1030                 DEG_id_tag_update(&me->id, ID_RECALC_GEOMETRY);
1031                 return true;
1032         }
1033         else {
1034                 return false;
1035         }
1036 }
1037
1038 /** \} */
1039
1040
1041 /* -------------------------------------------------------------------- */
1042 /** \name Mesh Stripping (removing invalid data)
1043  * \{ */
1044
1045 /* We need to keep this for edge creation (for now?), and some old readfile code... */
1046 void BKE_mesh_strip_loose_faces(Mesh *me)
1047 {
1048         MFace *f;
1049         int a, b;
1050
1051         for (a = b = 0, f = me->mface; a < me->totface; a++, f++) {
1052                 if (f->v3) {
1053                         if (a != b) {
1054                                 memcpy(&me->mface[b], f, sizeof(me->mface[b]));
1055                                 CustomData_copy_data(&me->fdata, &me->fdata, a, b, 1);
1056                         }
1057                         b++;
1058                 }
1059         }
1060         if (a != b) {
1061                 CustomData_free_elem(&me->fdata, b, a - b);
1062                 me->totface = b;
1063         }
1064 }
1065
1066 /* Works on both loops and polys! */
1067 /* Note: It won't try to guess which loops of an invalid poly to remove!
1068  *       this is the work of the caller, to mark those loops...
1069  *       See e.g. BKE_mesh_validate_arrays(). */
1070 void BKE_mesh_strip_loose_polysloops(Mesh *me)
1071 {
1072         MPoly *p;
1073         MLoop *l;
1074         int a, b;
1075         /* New loops idx! */
1076         int *new_idx = MEM_mallocN(sizeof(int) * me->totloop, __func__);
1077
1078         for (a = b = 0, p = me->mpoly; a < me->totpoly; a++, p++) {
1079                 bool invalid = false;
1080                 int i = p->loopstart;
1081                 int stop = i + p->totloop;
1082
1083                 if (stop > me->totloop || stop < i) {
1084                         invalid = true;
1085                 }
1086                 else {
1087                         l = &me->mloop[i];
1088                         i = stop - i;
1089                         /* If one of the poly's loops is invalid, the whole poly is invalid! */
1090                         for (; i--; l++) {
1091                                 if (l->e == INVALID_LOOP_EDGE_MARKER) {
1092                                         invalid = true;
1093                                         break;
1094                                 }
1095                         }
1096                 }
1097
1098                 if (p->totloop >= 3 && !invalid) {
1099                         if (a != b) {
1100                                 memcpy(&me->mpoly[b], p, sizeof(me->mpoly[b]));
1101                                 CustomData_copy_data(&me->pdata, &me->pdata, a, b, 1);
1102                         }
1103                         b++;
1104                 }
1105         }
1106         if (a != b) {
1107                 CustomData_free_elem(&me->pdata, b, a - b);
1108                 me->totpoly = b;
1109         }
1110
1111         /* And now, get rid of invalid loops. */
1112         for (a = b = 0, l = me->mloop; a < me->totloop; a++, l++) {
1113                 if (l->e != INVALID_LOOP_EDGE_MARKER) {
1114                         if (a != b) {
1115                                 memcpy(&me->mloop[b], l, sizeof(me->mloop[b]));
1116                                 CustomData_copy_data(&me->ldata, &me->ldata, a, b, 1);
1117                         }
1118                         new_idx[a] = b;
1119                         b++;
1120                 }
1121                 else {
1122                         /* XXX Theoretically, we should be able to not do this, as no remaining poly
1123                          *     should use any stripped loop. But for security's sake... */
1124                         new_idx[a] = -a;
1125                 }
1126         }
1127         if (a != b) {
1128                 CustomData_free_elem(&me->ldata, b, a - b);
1129                 me->totloop = b;
1130         }
1131
1132         /* And now, update polys' start loop index. */
1133         /* Note: At this point, there should never be any poly using a striped loop! */
1134         for (a = 0, p = me->mpoly; a < me->totpoly; a++, p++) {
1135                 p->loopstart = new_idx[p->loopstart];
1136         }
1137
1138         MEM_freeN(new_idx);
1139 }
1140
1141 void BKE_mesh_strip_loose_edges(Mesh *me)
1142 {
1143         MEdge *e;
1144         MLoop *l;
1145         int a, b;
1146         unsigned int *new_idx = MEM_mallocN(sizeof(int) * me->totedge, __func__);
1147
1148         for (a = b = 0, e = me->medge; a < me->totedge; a++, e++) {
1149                 if (e->v1 != e->v2) {
1150                         if (a != b) {
1151                                 memcpy(&me->medge[b], e, sizeof(me->medge[b]));
1152                                 CustomData_copy_data(&me->edata, &me->edata, a, b, 1);
1153                         }
1154                         new_idx[a] = b;
1155                         b++;
1156                 }
1157                 else {
1158                         new_idx[a] = INVALID_LOOP_EDGE_MARKER;
1159                 }
1160         }
1161         if (a != b) {
1162                 CustomData_free_elem(&me->edata, b, a - b);
1163                 me->totedge = b;
1164         }
1165
1166         /* And now, update loops' edge indices. */
1167         /* XXX We hope no loop was pointing to a striped edge!
1168          *     Else, its e will be set to INVALID_LOOP_EDGE_MARKER :/ */
1169         for (a = 0, l = me->mloop; a < me->totloop; a++, l++) {
1170                 l->e = new_idx[l->e];
1171         }
1172
1173         MEM_freeN(new_idx);
1174 }
1175 /** \} */
1176
1177
1178
1179 /* -------------------------------------------------------------------- */
1180 /** \name Mesh Edge Calculation
1181  * \{ */
1182
1183 /* make edges in a Mesh, for outside of editmode */
1184
1185 struct EdgeSort {
1186         unsigned int v1, v2;
1187         char is_loose, is_draw;
1188 };
1189
1190 /* edges have to be added with lowest index first for sorting */
1191 static void to_edgesort(
1192         struct EdgeSort *ed,
1193         unsigned int v1, unsigned int v2,
1194         char is_loose, short is_draw)
1195 {
1196         if (v1 < v2) {
1197                 ed->v1 = v1; ed->v2 = v2;
1198         }
1199         else {
1200                 ed->v1 = v2; ed->v2 = v1;
1201         }
1202         ed->is_loose = is_loose;
1203         ed->is_draw = is_draw;
1204 }
1205
1206 static int vergedgesort(const void *v1, const void *v2)
1207 {
1208         const struct EdgeSort *x1 = v1, *x2 = v2;
1209
1210         if (x1->v1 > x2->v1) return 1;
1211         else if (x1->v1 < x2->v1) return -1;
1212         else if (x1->v2 > x2->v2) return 1;
1213         else if (x1->v2 < x2->v2) return -1;
1214
1215         return 0;
1216 }
1217
1218
1219 /* Create edges based on known verts and faces,
1220  * this function is only used when loading very old blend files */
1221
1222 static void mesh_calc_edges_mdata(
1223         MVert *UNUSED(allvert), MFace *allface, MLoop *allloop,
1224         MPoly *allpoly, int UNUSED(totvert), int totface, int UNUSED(totloop), int totpoly,
1225         const bool use_old,
1226         MEdge **r_medge, int *r_totedge)
1227 {
1228         MPoly *mpoly;
1229         MFace *mface;
1230         MEdge *medge, *med;
1231         EdgeHash *hash;
1232         struct EdgeSort *edsort, *ed;
1233         int a, totedge = 0;
1234         unsigned int totedge_final = 0;
1235         unsigned int edge_index;
1236
1237         /* we put all edges in array, sort them, and detect doubles that way */
1238
1239         for (a = totface, mface = allface; a > 0; a--, mface++) {
1240                 if (mface->v4) totedge += 4;
1241                 else if (mface->v3) totedge += 3;
1242                 else totedge += 1;
1243         }
1244
1245         if (totedge == 0) {
1246                 /* flag that mesh has edges */
1247                 (*r_medge) = MEM_callocN(0, __func__);
1248                 (*r_totedge) = 0;
1249                 return;
1250         }
1251
1252         ed = edsort = MEM_mallocN(totedge * sizeof(struct EdgeSort), "EdgeSort");
1253
1254         for (a = totface, mface = allface; a > 0; a--, mface++) {
1255                 to_edgesort(ed++, mface->v1, mface->v2, !mface->v3, mface->edcode & ME_V1V2);
1256                 if (mface->v4) {
1257                         to_edgesort(ed++, mface->v2, mface->v3, 0, mface->edcode & ME_V2V3);
1258                         to_edgesort(ed++, mface->v3, mface->v4, 0, mface->edcode & ME_V3V4);
1259                         to_edgesort(ed++, mface->v4, mface->v1, 0, mface->edcode & ME_V4V1);
1260                 }
1261                 else if (mface->v3) {
1262                         to_edgesort(ed++, mface->v2, mface->v3, 0, mface->edcode & ME_V2V3);
1263                         to_edgesort(ed++, mface->v3, mface->v1, 0, mface->edcode & ME_V3V1);
1264                 }
1265         }
1266
1267         qsort(edsort, totedge, sizeof(struct EdgeSort), vergedgesort);
1268
1269         /* count final amount */
1270         for (a = totedge, ed = edsort; a > 1; a--, ed++) {
1271                 /* edge is unique when it differs from next edge, or is last */
1272                 if (ed->v1 != (ed + 1)->v1 || ed->v2 != (ed + 1)->v2) totedge_final++;
1273         }
1274         totedge_final++;
1275
1276         medge = MEM_callocN(sizeof(MEdge) * totedge_final, __func__);
1277
1278         for (a = totedge, med = medge, ed = edsort; a > 1; a--, ed++) {
1279                 /* edge is unique when it differs from next edge, or is last */
1280                 if (ed->v1 != (ed + 1)->v1 || ed->v2 != (ed + 1)->v2) {
1281                         med->v1 = ed->v1;
1282                         med->v2 = ed->v2;
1283                         if (use_old == false || ed->is_draw) med->flag = ME_EDGEDRAW | ME_EDGERENDER;
1284                         if (ed->is_loose) med->flag |= ME_LOOSEEDGE;
1285
1286                         /* order is swapped so extruding this edge as a surface wont flip face normals
1287                          * with cyclic curves */
1288                         if (ed->v1 + 1 != ed->v2) {
1289                                 SWAP(unsigned int, med->v1, med->v2);
1290                         }
1291                         med++;
1292                 }
1293                 else {
1294                         /* equal edge, we merge the drawflag */
1295                         (ed + 1)->is_draw |= ed->is_draw;
1296                 }
1297         }
1298         /* last edge */
1299         med->v1 = ed->v1;
1300         med->v2 = ed->v2;
1301         med->flag = ME_EDGEDRAW;
1302         if (ed->is_loose) med->flag |= ME_LOOSEEDGE;
1303         med->flag |= ME_EDGERENDER;
1304
1305         MEM_freeN(edsort);
1306
1307         /* set edge members of mloops */
1308         hash = BLI_edgehash_new_ex(__func__, totedge_final);
1309         for (edge_index = 0, med = medge; edge_index < totedge_final; edge_index++, med++) {
1310                 BLI_edgehash_insert(hash, med->v1, med->v2, POINTER_FROM_UINT(edge_index));
1311         }
1312
1313         mpoly = allpoly;
1314         for (a = 0; a < totpoly; a++, mpoly++) {
1315                 MLoop *ml, *ml_next;
1316                 int i = mpoly->totloop;
1317
1318                 ml_next = allloop + mpoly->loopstart;  /* first loop */
1319                 ml = &ml_next[i - 1];                  /* last loop */
1320
1321                 while (i-- != 0) {
1322                         ml->e = POINTER_AS_UINT(BLI_edgehash_lookup(hash, ml->v, ml_next->v));
1323                         ml = ml_next;
1324                         ml_next++;
1325                 }
1326         }
1327
1328         BLI_edgehash_free(hash, NULL);
1329
1330         *r_medge = medge;
1331         *r_totedge = totedge_final;
1332 }
1333
1334 /**
1335  * If the mesh is from a very old blender version,
1336  * convert mface->edcode to edge drawflags
1337  */
1338 void BKE_mesh_calc_edges_legacy(Mesh *me, const bool use_old)
1339 {
1340         MEdge *medge;
1341         int totedge = 0;
1342
1343         mesh_calc_edges_mdata(
1344                 me->mvert, me->mface, me->mloop, me->mpoly,
1345                 me->totvert, me->totface, me->totloop, me->totpoly,
1346                 use_old, &medge, &totedge);
1347
1348         if (totedge == 0) {
1349                 /* flag that mesh has edges */
1350                 me->medge = medge;
1351                 me->totedge = 0;
1352                 return;
1353         }
1354
1355         medge = CustomData_add_layer(&me->edata, CD_MEDGE, CD_ASSIGN, medge, totedge);
1356         me->medge = medge;
1357         me->totedge = totedge;
1358
1359         BKE_mesh_strip_loose_faces(me);
1360 }
1361
1362
1363 /**
1364  * Calculate edges from polygons
1365  *
1366  * \param mesh: The mesh to add edges into
1367  * \param update: When true create new edges co-exist
1368  */
1369 void BKE_mesh_calc_edges(Mesh *mesh, bool update, const bool select)
1370 {
1371         CustomData edata;
1372         EdgeHashIterator *ehi;
1373         MPoly *mp;
1374         MEdge *med, *med_orig;
1375         EdgeHash *eh;
1376         unsigned int eh_reserve;
1377         int i, totedge, totpoly = mesh->totpoly;
1378         int med_index;
1379         /* select for newly created meshes which are selected [#25595] */
1380         const short ed_flag = (ME_EDGEDRAW | ME_EDGERENDER) | (select ? SELECT : 0);
1381
1382         if (mesh->totedge == 0)
1383                 update = false;
1384
1385         eh_reserve = max_ii(update ? mesh->totedge : 0, BLI_EDGEHASH_SIZE_GUESS_FROM_POLYS(totpoly));
1386         eh = BLI_edgehash_new_ex(__func__, eh_reserve);
1387
1388         if (update) {
1389                 /* assume existing edges are valid
1390                  * useful when adding more faces and generating edges from them */
1391                 med = mesh->medge;
1392                 for (i = 0; i < mesh->totedge; i++, med++)
1393                         BLI_edgehash_insert(eh, med->v1, med->v2, med);
1394         }
1395
1396         /* mesh loops (bmesh only) */
1397         for (mp = mesh->mpoly, i = 0; i < totpoly; mp++, i++) {
1398                 MLoop *l = &mesh->mloop[mp->loopstart];
1399                 int j, v_prev = (l + (mp->totloop - 1))->v;
1400                 for (j = 0; j < mp->totloop; j++, l++) {
1401                         if (v_prev != l->v) {
1402                                 void **val_p;
1403                                 if (!BLI_edgehash_ensure_p(eh, v_prev, l->v, &val_p)) {
1404                                         *val_p = NULL;
1405                                 }
1406                         }
1407                         v_prev = l->v;
1408                 }
1409         }
1410
1411         totedge = BLI_edgehash_len(eh);
1412
1413         /* write new edges into a temporary CustomData */
1414         CustomData_reset(&edata);
1415         CustomData_add_layer(&edata, CD_MEDGE, CD_CALLOC, NULL, totedge);
1416
1417         med = CustomData_get_layer(&edata, CD_MEDGE);
1418         for (ehi = BLI_edgehashIterator_new(eh), i = 0;
1419              BLI_edgehashIterator_isDone(ehi) == false;
1420              BLI_edgehashIterator_step(ehi), ++i, ++med)
1421         {
1422                 if (update && (med_orig = BLI_edgehashIterator_getValue(ehi))) {
1423                         *med = *med_orig; /* copy from the original */
1424                 }
1425                 else {
1426                         BLI_edgehashIterator_getKey(ehi, &med->v1, &med->v2);
1427                         med->flag = ed_flag;
1428                 }
1429
1430                 /* store the new edge index in the hash value */
1431                 BLI_edgehashIterator_setValue(ehi, POINTER_FROM_INT(i));
1432         }
1433         BLI_edgehashIterator_free(ehi);
1434
1435         if (mesh->totpoly) {
1436                 /* second pass, iterate through all loops again and assign
1437                  * the newly created edges to them. */
1438                 for (mp = mesh->mpoly, i = 0; i < mesh->totpoly; mp++, i++) {
1439                         MLoop *l = &mesh->mloop[mp->loopstart];
1440                         MLoop *l_prev = (l + (mp->totloop - 1));
1441                         int j;
1442                         for (j = 0; j < mp->totloop; j++, l++) {
1443                                 /* lookup hashed edge index */
1444                                 med_index = POINTER_AS_INT(BLI_edgehash_lookup(eh, l_prev->v, l->v));
1445                                 l_prev->e = med_index;
1446                                 l_prev = l;
1447                         }
1448                 }
1449         }
1450
1451         /* free old CustomData and assign new one */
1452         CustomData_free(&mesh->edata, mesh->totedge);
1453         mesh->edata = edata;
1454         mesh->totedge = totedge;
1455
1456         mesh->medge = CustomData_get_layer(&mesh->edata, CD_MEDGE);
1457
1458         BLI_edgehash_free(eh, NULL);
1459 }
1460
1461 void BKE_mesh_calc_edges_loose(Mesh *mesh)
1462 {
1463         MEdge *med = mesh->medge;
1464         for (int i = 0; i < mesh->totedge; i++, med++) {
1465                 med->flag |= ME_LOOSEEDGE;
1466         }
1467         MLoop *ml = mesh->mloop;
1468         for (int i = 0; i < mesh->totloop; i++, ml++) {
1469                 mesh->medge[ml->e].flag &= ~ME_LOOSEEDGE;
1470         }
1471 }
1472
1473 /**
1474  * Calculate/create edges from tessface data
1475  *
1476  * \param mesh: The mesh to add edges into
1477  */
1478
1479 void BKE_mesh_calc_edges_tessface(Mesh *mesh)
1480 {
1481         CustomData edgeData;
1482         EdgeSetIterator *ehi;
1483         MFace *mf = mesh->mface;
1484         MEdge *med;
1485         EdgeSet *eh;
1486         int i, *index, numEdges, numFaces = mesh->totface;
1487
1488         eh = BLI_edgeset_new_ex(__func__, BLI_EDGEHASH_SIZE_GUESS_FROM_POLYS(numFaces));
1489
1490         for (i = 0; i < numFaces; i++, mf++) {
1491                 BLI_edgeset_add(eh, mf->v1, mf->v2);
1492                 BLI_edgeset_add(eh, mf->v2, mf->v3);
1493
1494                 if (mf->v4) {
1495                         BLI_edgeset_add(eh, mf->v3, mf->v4);
1496                         BLI_edgeset_add(eh, mf->v4, mf->v1);
1497                 }
1498                 else {
1499                         BLI_edgeset_add(eh, mf->v3, mf->v1);
1500                 }
1501         }
1502
1503         numEdges = BLI_edgeset_len(eh);
1504
1505         /* write new edges into a temporary CustomData */
1506         CustomData_reset(&edgeData);
1507         CustomData_add_layer(&edgeData, CD_MEDGE, CD_CALLOC, NULL, numEdges);
1508         CustomData_add_layer(&edgeData, CD_ORIGINDEX, CD_CALLOC, NULL, numEdges);
1509
1510         med = CustomData_get_layer(&edgeData, CD_MEDGE);
1511         index = CustomData_get_layer(&edgeData, CD_ORIGINDEX);
1512
1513         for (ehi = BLI_edgesetIterator_new(eh), i = 0;
1514              BLI_edgesetIterator_isDone(ehi) == false;
1515              BLI_edgesetIterator_step(ehi), i++, med++, index++)
1516         {
1517                 BLI_edgesetIterator_getKey(ehi, &med->v1, &med->v2);
1518
1519                 med->flag = ME_EDGEDRAW | ME_EDGERENDER;
1520                 *index = ORIGINDEX_NONE;
1521         }
1522         BLI_edgesetIterator_free(ehi);
1523
1524         /* free old CustomData and assign new one */
1525         CustomData_free(&mesh->edata, mesh->totedge);
1526         mesh->edata = edgeData;
1527         mesh->totedge = numEdges;
1528
1529         mesh->medge = CustomData_get_layer(&mesh->edata, CD_MEDGE);
1530
1531         BLI_edgeset_free(eh);
1532 }
1533
1534 /** \} */