C99/C++11: replace deprecated finite() by isfinite().
[blender.git] / source / blender / blenkernel / intern / mesh_validate.c
1 /*
2  * ***** BEGIN GPL LICENSE BLOCK *****
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public License
6  * as published by the Free Software Foundation; either version 2
7  * of the License, or (at your option) any later version.
8  *
9  * This program is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12  * GNU General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License
15  * along with this program; if not, write to the Free Software Foundation,
16  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
17  *
18  * The Original Code is Copyright (C) 2011 Blender Foundation.
19  * All rights reserved.
20  *
21  * ***** END GPL LICENSE BLOCK *****
22  */
23
24 /** \file blender/blenkernel/intern/mesh_validate.c
25  *  \ingroup bke
26  */
27
28
29 #include <stdio.h>
30 #include <stdlib.h>
31 #include <string.h>
32 #include <limits.h>
33
34 #include "DNA_mesh_types.h"
35 #include "DNA_meshdata_types.h"
36 #include "DNA_object_types.h"
37
38 #include "BLI_sys_types.h"
39
40 #include "BLI_utildefines.h"
41 #include "BLI_edgehash.h"
42 #include "BLI_math_base.h"
43 #include "BLI_math_vector.h"
44
45 #include "BKE_deform.h"
46 #include "BKE_depsgraph.h"
47 #include "BKE_DerivedMesh.h"
48 #include "BKE_mesh.h"
49
50 #include "MEM_guardedalloc.h"
51
52 /* loop v/e are unsigned, so using max uint_32 value as invalid marker... */
53 #define INVALID_LOOP_EDGE_MARKER 4294967295u
54
55
56 /** \name Internal functions
57  * \{ */
58
59 typedef union {
60         uint32_t verts[2];
61         int64_t edval;
62 } EdgeUUID;
63
64 typedef struct SortFace {
65         EdgeUUID                es[4];
66         unsigned int    index;
67 } SortFace;
68
69 /* Used to detect polys (faces) using exactly the same vertices. */
70 /* Used to detect loops used by no (disjoint) or more than one (intersect) polys. */
71 typedef struct SortPoly {
72         int *verts;
73         int numverts;
74         int loopstart;
75         unsigned int index;
76         bool invalid;  /* Poly index. */
77 } SortPoly;
78
79 static void edge_store_assign(uint32_t verts[2],  const uint32_t v1, const uint32_t v2)
80 {
81         if (v1 < v2) {
82                 verts[0] = v1;
83                 verts[1] = v2;
84         }
85         else {
86                 verts[0] = v2;
87                 verts[1] = v1;
88         }
89 }
90
91 static void edge_store_from_mface_quad(EdgeUUID es[4], MFace *mf)
92 {
93         edge_store_assign(es[0].verts, mf->v1, mf->v2);
94         edge_store_assign(es[1].verts, mf->v2, mf->v3);
95         edge_store_assign(es[2].verts, mf->v3, mf->v4);
96         edge_store_assign(es[3].verts, mf->v4, mf->v1);
97 }
98
99 static void edge_store_from_mface_tri(EdgeUUID es[4], MFace *mf)
100 {
101         edge_store_assign(es[0].verts, mf->v1, mf->v2);
102         edge_store_assign(es[1].verts, mf->v2, mf->v3);
103         edge_store_assign(es[2].verts, mf->v3, mf->v1);
104         es[3].verts[0] = es[3].verts[1] = UINT_MAX;
105 }
106
107 static int int64_cmp(const void *v1, const void *v2)
108 {
109         const int64_t x1 = *(const int64_t *)v1;
110         const int64_t x2 = *(const int64_t *)v2;
111
112         if (x1 > x2) {
113                 return 1;
114         }
115         else if (x1 < x2) {
116                 return -1;
117         }
118
119         return 0;
120 }
121
122 static int search_face_cmp(const void *v1, const void *v2)
123 {
124         const SortFace *sfa = v1, *sfb = v2;
125
126         if (sfa->es[0].edval > sfb->es[0].edval) {
127                 return 1;
128         }
129         else if (sfa->es[0].edval < sfb->es[0].edval) {
130                 return -1;
131         }
132
133         else if (sfa->es[1].edval > sfb->es[1].edval) {
134                 return 1;
135         }
136         else if (sfa->es[1].edval < sfb->es[1].edval) {
137                 return -1;
138         }
139
140         else if (sfa->es[2].edval > sfb->es[2].edval) {
141                 return 1;
142         }
143         else if (sfa->es[2].edval < sfb->es[2].edval) {
144                 return -1;
145         }
146
147         else if (sfa->es[3].edval > sfb->es[3].edval) {
148                 return 1;
149         }
150         else if (sfa->es[3].edval < sfb->es[3].edval) {
151                 return -1;
152         }
153
154         return 0;
155 }
156
157 /* TODO check there is not some standard define of this somewhere! */
158 static int int_cmp(const void *v1, const void *v2)
159 {
160         return *(int *)v1 > *(int *)v2 ? 1 : *(int *)v1 < *(int *)v2 ? -1 : 0;
161 }
162
163 static int search_poly_cmp(const void *v1, const void *v2)
164 {
165         const SortPoly *sp1 = v1, *sp2 = v2;
166         const int max_idx = sp1->numverts > sp2->numverts ? sp2->numverts : sp1->numverts;
167         int idx;
168
169         /* Reject all invalid polys at end of list! */
170         if (sp1->invalid || sp2->invalid)
171                 return sp1->invalid ? (sp2->invalid ? 0 : 1) : -1;
172         /* Else, sort on first non-equal verts (remember verts of valid polys are sorted). */
173         for (idx = 0; idx < max_idx; idx++) {
174                 const int v1_i = sp1->verts[idx];
175                 const int v2_i = sp2->verts[idx];
176                 if (v1_i != v2_i) {
177                         return (v1_i > v2_i) ? 1 : -1;
178                 }
179         }
180         return sp1->numverts > sp2->numverts ? 1 : sp1->numverts < sp2->numverts ? -1 : 0;
181 }
182
183 static int search_polyloop_cmp(const void *v1, const void *v2)
184 {
185         const SortPoly *sp1 = v1, *sp2 = v2;
186
187         /* Reject all invalid polys at end of list! */
188         if (sp1->invalid || sp2->invalid)
189                 return sp1->invalid && sp2->invalid ? 0 : sp1->invalid ? 1 : -1;
190         /* Else, sort on loopstart. */
191         return sp1->loopstart > sp2->loopstart ? 1 : sp1->loopstart < sp2->loopstart ? -1 : 0;
192 }
193 /** \} */
194
195
196
197 /* -------------------------------------------------------------------- */
198
199 /** \name Mesh Validation
200  * \{ */
201
202 #define PRINT_MSG(...) (void) \
203         ( \
204          ((do_verbose) ? printf(__VA_ARGS__) : 0))
205
206 #define PRINT_ERR(...) (void) \
207         (is_valid = false, \
208          ((do_verbose) ? printf(__VA_ARGS__) : 0))
209
210 /**
211  * Validate the mesh, \a do_fixes requires \a mesh to be non-null.
212  *
213  * \return false if no changes needed to be made.
214  */
215 bool BKE_mesh_validate_arrays(Mesh *mesh,
216                               MVert *mverts, unsigned int totvert,
217                               MEdge *medges, unsigned int totedge,
218                               MFace *mfaces, unsigned int totface,
219                               MLoop *mloops, unsigned int totloop,
220                               MPoly *mpolys, unsigned int totpoly,
221                               MDeformVert *dverts, /* assume totvert length */
222                               const bool do_verbose, const bool do_fixes,
223                               bool *r_changed)
224 {
225 #   define REMOVE_EDGE_TAG(_me) { _me->v2 = _me->v1; free_flag.edges = do_fixes; } (void)0
226 #   define IS_REMOVED_EDGE(_me) (_me->v2 == _me->v1)
227
228 #   define REMOVE_LOOP_TAG(_ml) { _ml->e = INVALID_LOOP_EDGE_MARKER; free_flag.polyloops = do_fixes; } (void)0
229 #   define REMOVE_POLY_TAG(_mp) { _mp->totloop *= -1; free_flag.polyloops = do_fixes; } (void)0
230
231         MVert *mv = mverts;
232         MEdge *me;
233         MLoop *ml;
234         MPoly *mp;
235         unsigned int i, j;
236         int *v;
237
238         bool is_valid = true;
239
240         union {
241                 struct {
242                         int verts : 1;
243                         int verts_weight : 1;
244                         int loops_edge : 1;
245                 };
246                 int as_flag;
247         } fix_flag;
248
249         union {
250                 struct {
251                         int edges : 1;
252                         int faces : 1;
253                         /* This regroups loops and polys! */
254                         int polyloops : 1;
255                         int mselect : 1;
256                 };
257                 int as_flag;
258         } free_flag;
259
260         union {
261                 struct {
262                         int edges : 1;
263                 };
264                 int as_flag;
265         } recalc_flag;
266
267         EdgeHash *edge_hash = BLI_edgehash_new_ex(__func__, totedge);
268
269         BLI_assert(!(do_fixes && mesh == NULL));
270
271         fix_flag.as_flag = 0;
272         free_flag.as_flag = 0;
273         recalc_flag.as_flag = 0;
274
275         PRINT_MSG("%s: verts(%u), edges(%u), loops(%u), polygons(%u)\n",
276                   __func__, totvert, totedge, totloop, totpoly);
277
278         if (totedge == 0 && totpoly != 0) {
279                 PRINT_ERR("\tLogical error, %u polygons and 0 edges\n", totpoly);
280                 recalc_flag.edges = do_fixes;
281         }
282
283         for (i = 0; i < totvert; i++, mv++) {
284                 bool fix_normal = true;
285
286                 for (j = 0; j < 3; j++) {
287                         if (!isfinite(mv->co[j])) {
288                                 PRINT_ERR("\tVertex %u: has invalid coordinate\n", i);
289
290                                 if (do_fixes) {
291                                         zero_v3(mv->co);
292
293                                         fix_flag.verts = true;
294                                 }
295                         }
296
297                         if (mv->no[j] != 0)
298                                 fix_normal = false;
299                 }
300
301                 if (fix_normal) {
302                         PRINT_ERR("\tVertex %u: has zero normal, assuming Z-up normal\n", i);
303                         if (do_fixes) {
304                                 mv->no[2] = SHRT_MAX;
305                                 fix_flag.verts = true;
306                         }
307                 }
308         }
309
310         for (i = 0, me = medges; i < totedge; i++, me++) {
311                 bool remove = false;
312
313                 if (me->v1 == me->v2) {
314                         PRINT_ERR("\tEdge %u: has matching verts, both %u\n", i, me->v1);
315                         remove = do_fixes;
316                 }
317                 if (me->v1 >= totvert) {
318                         PRINT_ERR("\tEdge %u: v1 index out of range, %u\n", i, me->v1);
319                         remove = do_fixes;
320                 }
321                 if (me->v2 >= totvert) {
322                         PRINT_ERR("\tEdge %u: v2 index out of range, %u\n", i, me->v2);
323                         remove = do_fixes;
324                 }
325
326                 if ((me->v1 != me->v2) && BLI_edgehash_haskey(edge_hash, me->v1, me->v2)) {
327                         PRINT_ERR("\tEdge %u: is a duplicate of %d\n", i,
328                                   GET_INT_FROM_POINTER(BLI_edgehash_lookup(edge_hash, me->v1, me->v2)));
329                         remove = do_fixes;
330                 }
331
332                 if (remove == false) {
333                         if (me->v1 != me->v2) {
334                                 BLI_edgehash_insert(edge_hash, me->v1, me->v2, SET_INT_IN_POINTER(i));
335                         }
336                 }
337                 else {
338                         REMOVE_EDGE_TAG(me);
339                 }
340         }
341
342         if (mfaces && !mpolys) {
343 #               define REMOVE_FACE_TAG(_mf) { _mf->v3 = 0; free_flag.faces = do_fixes; } (void)0
344 #               define CHECK_FACE_VERT_INDEX(a, b) \
345                                         if (mf->a == mf->b) { \
346                                                 PRINT_ERR("    face %u: verts invalid, " STRINGIFY(a) "/" STRINGIFY(b) " both %u\n", i, mf->a); \
347                                                 remove = do_fixes; \
348                                         } (void)0
349 #               define CHECK_FACE_EDGE(a, b) \
350                                         if (!BLI_edgehash_haskey(edge_hash, mf->a, mf->b)) { \
351                                                 PRINT_ERR("    face %u: edge " STRINGIFY(a) "/" STRINGIFY(b) \
352                                                           " (%u,%u) is missing edge data\n", i, mf->a, mf->b); \
353                                                 recalc_flag.edges = do_fixes; \
354                                         } (void)0
355
356                 MFace *mf;
357                 MFace *mf_prev;
358
359                 SortFace *sort_faces = MEM_callocN(sizeof(SortFace) * totface, "search faces");
360                 SortFace *sf;
361                 SortFace *sf_prev;
362                 unsigned int totsortface = 0;
363
364                 PRINT_ERR("No Polys, only tesselated Faces\n");
365
366                 for (i = 0, mf = mfaces, sf = sort_faces; i < totface; i++, mf++) {
367                         bool remove = false;
368                         int fidx;
369                         unsigned int fv[4];
370
371                         fidx = mf->v4 ? 3 : 2;
372                         do {
373                                 fv[fidx] = *(&(mf->v1) + fidx);
374                                 if (fv[fidx] >= totvert) {
375                                         PRINT_ERR("\tFace %u: 'v%d' index out of range, %u\n", i, fidx + 1, fv[fidx]);
376                                         remove = do_fixes;
377                                 }
378                         } while (fidx--);
379
380                         if (remove == false) {
381                                 if (mf->v4) {
382                                         CHECK_FACE_VERT_INDEX(v1, v2);
383                                         CHECK_FACE_VERT_INDEX(v1, v3);
384                                         CHECK_FACE_VERT_INDEX(v1, v4);
385
386                                         CHECK_FACE_VERT_INDEX(v2, v3);
387                                         CHECK_FACE_VERT_INDEX(v2, v4);
388
389                                         CHECK_FACE_VERT_INDEX(v3, v4);
390                                 }
391                                 else {
392                                         CHECK_FACE_VERT_INDEX(v1, v2);
393                                         CHECK_FACE_VERT_INDEX(v1, v3);
394
395                                         CHECK_FACE_VERT_INDEX(v2, v3);
396                                 }
397
398                                 if (remove == false) {
399                                         if (totedge) {
400                                                 if (mf->v4) {
401                                                         CHECK_FACE_EDGE(v1, v2);
402                                                         CHECK_FACE_EDGE(v2, v3);
403                                                         CHECK_FACE_EDGE(v3, v4);
404                                                         CHECK_FACE_EDGE(v4, v1);
405                                                 }
406                                                 else {
407                                                         CHECK_FACE_EDGE(v1, v2);
408                                                         CHECK_FACE_EDGE(v2, v3);
409                                                         CHECK_FACE_EDGE(v3, v1);
410                                                 }
411                                         }
412
413                                         sf->index = i;
414
415                                         if (mf->v4) {
416                                                 edge_store_from_mface_quad(sf->es, mf);
417
418                                                 qsort(sf->es, 4, sizeof(int64_t), int64_cmp);
419                                         }
420                                         else {
421                                                 edge_store_from_mface_tri(sf->es, mf);
422                                                 qsort(sf->es, 3, sizeof(int64_t), int64_cmp);
423                                         }
424
425                                         totsortface++;
426                                         sf++;
427                                 }
428                         }
429
430                         if (remove) {
431                                 REMOVE_FACE_TAG(mf);
432                         }
433                 }
434
435                 qsort(sort_faces, totsortface, sizeof(SortFace), search_face_cmp);
436
437                 sf = sort_faces;
438                 sf_prev = sf;
439                 sf++;
440
441                 for (i = 1; i < totsortface; i++, sf++) {
442                         bool remove = false;
443
444                         /* on a valid mesh, code below will never run */
445                         if (memcmp(sf->es, sf_prev->es, sizeof(sf_prev->es)) == 0) {
446                                 mf = mfaces + sf->index;
447
448                                 if (do_verbose) {
449                                         mf_prev = mfaces + sf_prev->index;
450
451                                         if (mf->v4) {
452                                                 PRINT_ERR("\tFace %u & %u: are duplicates (%u,%u,%u,%u) (%u,%u,%u,%u)\n",
453                                                           sf->index, sf_prev->index, mf->v1, mf->v2, mf->v3, mf->v4,
454                                                           mf_prev->v1, mf_prev->v2, mf_prev->v3, mf_prev->v4);
455                                         }
456                                         else {
457                                                 PRINT_ERR("\tFace %u & %u: are duplicates (%u,%u,%u) (%u,%u,%u)\n",
458                                                           sf->index, sf_prev->index, mf->v1, mf->v2, mf->v3,
459                                                           mf_prev->v1, mf_prev->v2, mf_prev->v3);
460                                         }
461                                 }
462
463                                 remove = do_fixes;
464                         }
465                         else {
466                                 sf_prev = sf;
467                         }
468
469                         if (remove) {
470                                 REMOVE_FACE_TAG(mf);
471                         }
472                 }
473
474                 MEM_freeN(sort_faces);
475
476 #               undef REMOVE_FACE_TAG
477 #               undef CHECK_FACE_VERT_INDEX
478 #               undef CHECK_FACE_EDGE
479         }
480
481         /* Checking loops and polys is a bit tricky, as they are quite intricate...
482          *
483          * Polys must have:
484          * - a valid loopstart value.
485          * - a valid totloop value (>= 3 and loopstart+totloop < me.totloop).
486          *
487          * Loops must have:
488          * - a valid v value.
489          * - a valid e value (corresponding to the edge it defines with the next loop in poly).
490          *
491          * Also, loops not used by polys can be discarded.
492          * And "intersecting" loops (i.e. loops used by more than one poly) are invalid,
493          * so be sure to leave at most one poly per loop!
494          */
495         {
496                 SortPoly *sort_polys = MEM_callocN(sizeof(SortPoly) * totpoly, "mesh validate's sort_polys");
497                 SortPoly *prev_sp, *sp = sort_polys;
498                 int prev_end;
499
500                 for (i = 0, mp = mpolys; i < totpoly; i++, mp++, sp++) {
501                         sp->index = i;
502
503                         if (mp->loopstart < 0 || mp->totloop < 3) {
504                                 /* Invalid loop data. */
505                                 PRINT_ERR("\tPoly %u is invalid (loopstart: %d, totloop: %d)\n",
506                                           sp->index, mp->loopstart, mp->totloop);
507                                 sp->invalid = true;
508                         }
509                         else if (mp->loopstart + mp->totloop > totloop) {
510                                 /* Invalid loop data. */
511                                 PRINT_ERR("\tPoly %u uses loops out of range (loopstart: %d, loopend: %d, max nbr of loops: %u)\n",
512                                           sp->index, mp->loopstart, mp->loopstart + mp->totloop - 1, totloop - 1);
513                                 sp->invalid = true;
514                         }
515                         else {
516                                 /* Poly itself is valid, for now. */
517                                 int v1, v2; /* v1 is prev loop vert idx, v2 is current loop one. */
518                                 sp->invalid = false;
519                                 sp->verts = v = MEM_mallocN(sizeof(int) * mp->totloop, "Vert idx of SortPoly");
520                                 sp->numverts = mp->totloop;
521                                 sp->loopstart = mp->loopstart;
522
523                                 /* Ideally we would only have to do that once on all vertices before we start checking each poly, but
524                                  * several polys can use same vert, so we have to ensure here all verts of current poly are cleared. */
525                                 for (j = 0, ml = &mloops[sp->loopstart]; j < mp->totloop; j++, ml++) {
526                                         if (ml->v < totvert) {
527                                                 mverts[ml->v].flag &= ~ME_VERT_TMP_TAG;
528                                         }
529                                 }
530
531                                 /* Test all poly's loops' vert idx. */
532                                 for (j = 0, ml = &mloops[sp->loopstart]; j < mp->totloop; j++, ml++, v++) {
533                                         if (ml->v >= totvert) {
534                                                 /* Invalid vert idx. */
535                                                 PRINT_ERR("\tLoop %u has invalid vert reference (%u)\n", sp->loopstart + j, ml->v);
536                                                 sp->invalid = true;
537                                         }
538                                         else if (mverts[ml->v].flag & ME_VERT_TMP_TAG) {
539                                                 PRINT_ERR("\tPoly %u has duplicated vert reference at corner (%u)\n", i, j);
540                                                 sp->invalid = true;
541                                         }
542                                         else {
543                                                 mverts[ml->v].flag |= ME_VERT_TMP_TAG;
544                                         }
545                                         *v = ml->v;
546                                 }
547
548                                 if (sp->invalid)
549                                         continue;
550
551                                 /* Test all poly's loops. */
552                                 for (j = 0, ml = &mloops[sp->loopstart]; j < mp->totloop; j++, ml++) {
553                                         v1 = ml->v;
554                                         v2 = mloops[sp->loopstart + (j + 1) % mp->totloop].v;
555                                         if (!BLI_edgehash_haskey(edge_hash, v1, v2)) {
556                                                 /* Edge not existing. */
557                                                 PRINT_ERR("\tPoly %u needs missing edge (%d, %d)\n", sp->index, v1, v2);
558                                                 if (do_fixes)
559                                                         recalc_flag.edges = true;
560                                                 else
561                                                         sp->invalid = true;
562                                         }
563                                         else if (ml->e >= totedge) {
564                                                 /* Invalid edge idx.
565                                                  * We already know from previous text that a valid edge exists, use it (if allowed)! */
566                                                 if (do_fixes) {
567                                                         int prev_e = ml->e;
568                                                         ml->e = GET_INT_FROM_POINTER(BLI_edgehash_lookup(edge_hash, v1, v2));
569                                                         fix_flag.loops_edge = true;
570                                                         PRINT_ERR("\tLoop %u has invalid edge reference (%d), fixed using edge %u\n",
571                                                                   sp->loopstart + j, prev_e, ml->e);
572                                                 }
573                                                 else {
574                                                         PRINT_ERR("\tLoop %u has invalid edge reference (%u)\n", sp->loopstart + j, ml->e);
575                                                         sp->invalid = true;
576                                                 }
577                                         }
578                                         else {
579                                                 me = &medges[ml->e];
580                                                 if (IS_REMOVED_EDGE(me) || !((me->v1 == v1 && me->v2 == v2) || (me->v1 == v2 && me->v2 == v1))) {
581                                                         /* The pointed edge is invalid (tagged as removed, or vert idx mismatch),
582                                                          * and we already know from previous test that a valid one exists, use it (if allowed)! */
583                                                         if (do_fixes) {
584                                                                 int prev_e = ml->e;
585                                                                 ml->e = GET_INT_FROM_POINTER(BLI_edgehash_lookup(edge_hash, v1, v2));
586                                                                 fix_flag.loops_edge = true;
587                                                                 PRINT_ERR("\tPoly %u has invalid edge reference (%d), fixed using edge %u\n",
588                                                                           sp->index, prev_e, ml->e);
589                                                         }
590                                                         else {
591                                                                 PRINT_ERR("\tPoly %u has invalid edge reference (%u)\n", sp->index, ml->e);
592                                                                 sp->invalid = true;
593                                                         }
594                                                 }
595                                         }
596                                 }
597
598                                 if (!sp->invalid) {
599                                         /* Needed for checking polys using same verts below. */
600                                         qsort(sp->verts, sp->numverts, sizeof(int), int_cmp);
601                                 }
602                         }
603                 }
604
605                 /* Second check pass, testing polys using the same verts. */
606                 qsort(sort_polys, totpoly, sizeof(SortPoly), search_poly_cmp);
607                 sp = prev_sp = sort_polys;
608                 sp++;
609
610                 for (i = 1; i < totpoly; i++, sp++) {
611                         int p1_nv = sp->numverts, p2_nv = prev_sp->numverts;
612                         const int *p1_v = sp->verts, *p2_v = prev_sp->verts;
613
614                         if (sp->invalid) {
615                                 /* break, because all known invalid polys have been put at the end by qsort with search_poly_cmp. */
616                                 break;
617                         }
618
619                         /* Test same polys. */
620 #if 0
621                         {
622                                 bool p1_sub = true, p2_sub = true;
623
624                                 /* NOTE: This performs a sub-set test. */
625                                 /* XXX This (and the sort of verts list) is better than systematic
626                                  *     search of all verts of one list into the other if lists have
627                                  *     a fair amount of elements.
628                                  *     Not sure however it's worth it in this case?
629                                  *     But as we also need sorted vert list to check verts multi-used
630                                  *     (in first pass of checks)... */
631                                 /* XXX If we consider only "equal" polys (i.e. using exactly same set of verts)
632                                  *     as invalid, better to replace this by a simple memory cmp... */
633                                 while ((p1_nv && p2_nv) && (p1_sub || p2_sub)) {
634                                         if (*p1_v < *p2_v) {
635                                                 if (p1_sub)
636                                                         p1_sub = false;
637                                                 p1_nv--;
638                                                 p1_v++;
639                                         }
640                                         else if (*p2_v < *p1_v) {
641                                                 if (p2_sub)
642                                                         p2_sub = false;
643                                                 p2_nv--;
644                                                 p2_v++;
645                                         }
646                                         else {
647                                                 /* Equality, both next verts. */
648                                                 p1_nv--;
649                                                 p2_nv--;
650                                                 p1_v++;
651                                                 p2_v++;
652                                         }
653                                 }
654                                 if (p1_nv && p1_sub)
655                                         p1_sub = false;
656                                 else if (p2_nv && p2_sub)
657                                         p2_sub = false;
658
659                                 if (p1_sub && p2_sub) {
660                                         PRINT("\tPolys %u and %u use same vertices, considering poly %u as invalid.\n",
661                                                   prev_sp->index, sp->index, sp->index);
662                                         sp->invalid = true;
663                                 }
664                                 /* XXX In fact, these might be valid? :/ */
665                                 else if (p1_sub) {
666                                         PRINT("\t%u is a sub-poly of %u, considering it as invalid.\n", sp->index, prev_sp->index);
667                                         sp->invalid = true;
668                                 }
669                                 else if (p2_sub) {
670                                         PRINT("\t%u is a sub-poly of %u, considering it as invalid.\n", prev_sp->index, sp->index);
671                                         prev_sp->invalid = true;
672                                         prev_sp = sp; /* sp is new reference poly. */
673                                 }
674                         }
675 #else
676                         if ((p1_nv == p2_nv) && (memcmp(p1_v, p2_v, p1_nv * sizeof(*p1_v)) == 0)) {
677                                 if (do_verbose) {
678                                         PRINT_ERR("\tPolys %u and %u use same vertices (%d",
679                                                   prev_sp->index, sp->index, *p1_v);
680                                         for (j = 1; j < p1_nv; j++)
681                                                 PRINT_ERR(", %d", p1_v[j]);
682                                         PRINT_ERR("), considering poly %u as invalid.\n", sp->index);
683                                 }
684                                 else {
685                                         is_valid = false;
686                                 }
687                                 sp->invalid = true;
688                         }
689 #endif
690                         else {
691                                 prev_sp = sp;
692                         }
693                 }
694
695                 /* Third check pass, testing loops used by none or more than one poly. */
696                 qsort(sort_polys, totpoly, sizeof(SortPoly), search_polyloop_cmp);
697                 sp = sort_polys;
698                 prev_sp = NULL;
699                 prev_end = 0;
700                 for (i = 0; i < totpoly; i++, sp++) {
701                         /* Free this now, we don't need it anymore, and avoid us another loop! */
702                         if (sp->verts)
703                                 MEM_freeN(sp->verts);
704
705                         /* Note above prev_sp: in following code, we make sure it is always valid poly (or NULL). */
706                         if (sp->invalid) {
707                                 if (do_fixes) {
708                                         REMOVE_POLY_TAG((&mpolys[sp->index]));
709                                         /* DO NOT REMOVE ITS LOOPS!!!
710                                          * As already invalid polys are at the end of the SortPoly list, the loops they
711                                          * were the only users have already been tagged as "to remove" during previous
712                                          * iterations, and we don't want to remove some loops that may be used by
713                                          * another valid poly! */
714                                 }
715                         }
716                         /* Test loops users. */
717                         else {
718                                 /* Unused loops. */
719                                 if (prev_end < sp->loopstart) {
720                                         for (j = prev_end, ml = &mloops[prev_end]; j < sp->loopstart; j++, ml++) {
721                                                 PRINT_ERR("\tLoop %u is unused.\n", j);
722                                                 if (do_fixes)
723                                                         REMOVE_LOOP_TAG(ml);
724                                         }
725                                         prev_end = sp->loopstart + sp->numverts;
726                                         prev_sp = sp;
727                                 }
728                                 /* Multi-used loops. */
729                                 else if (prev_end > sp->loopstart) {
730                                         PRINT_ERR("\tPolys %u and %u share loops from %d to %d, considering poly %u as invalid.\n",
731                                                   prev_sp->index, sp->index, sp->loopstart, prev_end, sp->index);
732                                         if (do_fixes) {
733                                                 REMOVE_POLY_TAG((&mpolys[sp->index]));
734                                                 /* DO NOT REMOVE ITS LOOPS!!!
735                                                  * They might be used by some next, valid poly!
736                                                  * Just not updating prev_end/prev_sp vars is enough to ensure the loops
737                                                  * effectively no more needed will be marked as "to be removed"! */
738                                         }
739                                 }
740                                 else {
741                                         prev_end = sp->loopstart + sp->numverts;
742                                         prev_sp = sp;
743                                 }
744                         }
745                 }
746                 /* We may have some remaining unused loops to get rid of! */
747                 if (prev_end < totloop) {
748                         for (j = prev_end, ml = &mloops[prev_end]; j < totloop; j++, ml++) {
749                                 PRINT_ERR("\tLoop %u is unused.\n", j);
750                                 if (do_fixes)
751                                         REMOVE_LOOP_TAG(ml);
752                         }
753                 }
754
755                 MEM_freeN(sort_polys);
756         }
757
758         BLI_edgehash_free(edge_hash, NULL);
759
760         /* fix deform verts */
761         if (dverts) {
762                 MDeformVert *dv;
763                 for (i = 0, dv = dverts; i < totvert; i++, dv++) {
764                         MDeformWeight *dw;
765
766                         for (j = 0, dw = dv->dw; j < dv->totweight; j++, dw++) {
767                                 /* note, greater than max defgroups is accounted for in our code, but not < 0 */
768                                 if (!isfinite(dw->weight)) {
769                                         PRINT_ERR("\tVertex deform %u, group %d has weight: %f\n", i, dw->def_nr, dw->weight);
770                                         if (do_fixes) {
771                                                 dw->weight = 0.0f;
772                                                 fix_flag.verts_weight = true;
773                                         }
774                                 }
775                                 else if (dw->weight < 0.0f || dw->weight > 1.0f) {
776                                         PRINT_ERR("\tVertex deform %u, group %d has weight: %f\n", i, dw->def_nr, dw->weight);
777                                         if (do_fixes) {
778                                                 CLAMP(dw->weight, 0.0f, 1.0f);
779                                                 fix_flag.verts_weight = true;
780                                         }
781                                 }
782
783                                 if (dw->def_nr < 0) {
784                                         PRINT_ERR("\tVertex deform %u, has invalid group %d\n", i, dw->def_nr);
785                                         if (do_fixes) {
786                                                 defvert_remove_group(dv, dw);
787                                                 fix_flag.verts_weight = true;
788
789                                                 if (dv->dw) {
790                                                         /* re-allocated, the new values compensate for stepping
791                                                          * within the for loop and may not be valid */
792                                                         j--;
793                                                         dw = dv->dw + j;
794
795                                                 }
796                                                 else { /* all freed */
797                                                         break;
798                                                 }
799                                         }
800                                 }
801                         }
802                 }
803         }
804
805 #   undef REMOVE_EDGE_TAG
806 #   undef IS_REMOVED_EDGE
807 #   undef REMOVE_LOOP_TAG
808 #   undef REMOVE_POLY_TAG
809
810         if (mesh) {
811                 if (free_flag.faces) {
812                         BKE_mesh_strip_loose_faces(mesh);
813                 }
814
815                 if (free_flag.polyloops) {
816                         BKE_mesh_strip_loose_polysloops(mesh);
817                 }
818
819                 if (free_flag.edges) {
820                         BKE_mesh_strip_loose_edges(mesh);
821                 }
822
823                 if (recalc_flag.edges) {
824                         BKE_mesh_calc_edges(mesh, true, false);
825                 }
826         }
827
828         if (mesh && mesh->mselect) {
829                 MSelect *msel;
830
831                 for (i = 0, msel = mesh->mselect; i < mesh->totselect; i++, msel++) {
832                         int tot_elem = 0;
833
834                         if (msel->index < 0) {
835                                 PRINT_ERR("\tMesh select element %u type %d index is negative, "
836                                           "resetting selection stack.\n", i, msel->type);
837                                 free_flag.mselect = do_fixes;
838                                 break;
839                         }
840
841                         switch (msel->type) {
842                                 case ME_VSEL:
843                                         tot_elem = mesh->totvert;
844                                         break;
845                                 case ME_ESEL:
846                                         tot_elem = mesh->totedge;
847                                         break;
848                                 case ME_FSEL:
849                                         tot_elem = mesh->totface;
850                                         break;
851                         }
852
853                         if (msel->index > tot_elem) {
854                                 PRINT_ERR("\tMesh select element %u type %d index %d is larger than data array size %d, "
855                                           "resetting selection stack.\n", i, msel->type, msel->index, tot_elem);
856
857                                 free_flag.mselect = do_fixes;
858                                 break;
859                         }
860                 }
861
862                 if (free_flag.mselect) {
863                         MEM_freeN(mesh->mselect);
864                         mesh->mselect = NULL;
865                         mesh->totselect = 0;
866                 }
867         }
868
869         PRINT_MSG("%s: finished\n\n", __func__);
870
871         *r_changed = (fix_flag.as_flag || free_flag.as_flag || recalc_flag.as_flag);
872
873         BLI_assert((*r_changed == false) || (do_fixes == true));
874
875         return is_valid;
876 }
877
878 static bool mesh_validate_customdata(CustomData *data, CustomDataMask mask,
879                                      const bool do_verbose, const bool do_fixes,
880                                      bool *r_change)
881 {
882         bool is_valid = true;
883         bool has_fixes = false;
884         int i = 0;
885
886         PRINT_MSG("%s: Checking %d CD layers...\n", __func__, data->totlayer);
887
888         while (i < data->totlayer) {
889                 CustomDataLayer *layer = &data->layers[i];
890                 bool ok = true;
891
892                 if (CustomData_layertype_is_singleton(layer->type)) {
893                         const int layer_tot = CustomData_number_of_layers(data, layer->type);
894                         if (layer_tot > 1) {
895                                 PRINT_ERR("\tCustomDataLayer type %d is a singleton, found %d in Mesh structure\n",
896                                           layer->type, layer_tot);
897                                 ok = false;
898                         }
899                 }
900
901                 if (mask != 0) {
902                         CustomDataMask layer_typemask = CD_TYPE_AS_MASK(layer->type);
903                         if ((layer_typemask & mask) == 0) {
904                                 PRINT_ERR("\tCustomDataLayer type %d which isn't in the mask\n",
905                                           layer->type);
906                                 ok = false;
907                         }
908                 }
909
910                 if (ok == false) {
911                         if (do_fixes) {
912                                 CustomData_free_layer(data, layer->type, 0, i);
913                                 has_fixes = true;
914                         }
915                 }
916
917                 if (ok)
918                         i++;
919         }
920
921         PRINT_MSG("%s: Finished (is_valid=%d)\n\n", __func__, (int)!has_fixes);
922
923         *r_change = has_fixes;
924
925         return is_valid;
926 }
927
928 /**
929  * \returns is_valid.
930  */
931 bool BKE_mesh_validate_all_customdata(CustomData *vdata, CustomData *edata,
932                                       CustomData *ldata, CustomData *pdata,
933                                       const bool check_meshmask,
934                                       const bool do_verbose, const bool do_fixes,
935                                       bool *r_change)
936 {
937         bool is_valid = true;
938         bool is_change_v, is_change_e, is_change_l, is_change_p;
939         int tot_texpoly, tot_uvloop, tot_vcolloop;
940         CustomDataMask mask = check_meshmask ? CD_MASK_MESH : 0;
941
942         is_valid &= mesh_validate_customdata(vdata, mask, do_verbose, do_fixes, &is_change_v);
943         is_valid &= mesh_validate_customdata(edata, mask, do_verbose, do_fixes, &is_change_e);
944         is_valid &= mesh_validate_customdata(ldata, mask, do_verbose, do_fixes, &is_change_l);
945         is_valid &= mesh_validate_customdata(pdata, mask, do_verbose, do_fixes, &is_change_p);
946
947         tot_texpoly = CustomData_number_of_layers(pdata, CD_MTEXPOLY);
948         tot_uvloop = CustomData_number_of_layers(ldata, CD_MLOOPUV);
949         tot_vcolloop = CustomData_number_of_layers(ldata, CD_MLOOPCOL);
950         if (tot_texpoly != tot_uvloop) {
951                 PRINT_ERR("\tCustomDataLayer mismatch, tot_texpoly(%d), tot_uvloop(%d)\n",
952                           tot_texpoly, tot_uvloop);
953         }
954         if (tot_texpoly > MAX_MTFACE) {
955                 PRINT_ERR("\tMore UV layers than %d allowed, %d last ones won't be available for render, shaders, etc.\n",
956                           MAX_MTFACE, tot_texpoly - MAX_MTFACE);
957         }
958         if (tot_uvloop > MAX_MTFACE) {
959                 PRINT_ERR("\tMore UV layers than %d allowed, %d last ones won't be available for render, shaders, etc.\n",
960                           MAX_MTFACE, tot_uvloop - MAX_MTFACE);
961         }
962         if (tot_vcolloop > MAX_MCOL) {
963                 PRINT_ERR("\tMore VCol layers than %d allowed, %d last ones won't be available for render, shaders, etc.\n",
964                           MAX_MCOL, tot_vcolloop - MAX_MCOL);
965         }
966
967         /* check indices of clone/stencil */
968         if (do_fixes && CustomData_get_clone_layer(pdata, CD_MTEXPOLY) >= tot_texpoly) {
969                 CustomData_set_layer_clone(pdata, CD_MTEXPOLY, 0);
970                 is_change_p = true;
971         }
972         if (do_fixes && CustomData_get_clone_layer(ldata, CD_MLOOPUV) >= tot_uvloop) {
973                 CustomData_set_layer_clone(ldata, CD_MLOOPUV, 0);
974                 is_change_l = true;
975         }
976         if (do_fixes && CustomData_get_stencil_layer(pdata, CD_MTEXPOLY) >= tot_texpoly) {
977                 CustomData_set_layer_stencil(pdata, CD_MTEXPOLY, 0);
978                 is_change_p = true;
979         }
980         if (do_fixes && CustomData_get_stencil_layer(ldata, CD_MLOOPUV) >= tot_uvloop) {
981                 CustomData_set_layer_stencil(ldata, CD_MLOOPUV, 0);
982                 is_change_l = true;
983         }
984
985         *r_change = (is_change_v || is_change_e || is_change_l || is_change_p);
986
987         return is_valid;
988 }
989
990 /**
991  * \see  #DM_is_valid to call on derived meshes
992  *
993  * \returns true if a change is made.
994  */
995 int BKE_mesh_validate(Mesh *me, const int do_verbose, const int cddata_check_mask)
996 {
997         bool is_valid = true;
998         bool changed;
999
1000         if (do_verbose) {
1001                 printf("MESH: %s\n", me->id.name + 2);
1002         }
1003
1004         is_valid &= BKE_mesh_validate_all_customdata(
1005                 &me->vdata, &me->edata, &me->ldata, &me->pdata,
1006                 cddata_check_mask,
1007                 do_verbose, true,
1008                 &changed);
1009
1010         is_valid &= BKE_mesh_validate_arrays(
1011                 me,
1012                 me->mvert, me->totvert,
1013                 me->medge, me->totedge,
1014                 me->mface, me->totface,
1015                 me->mloop, me->totloop,
1016                 me->mpoly, me->totpoly,
1017                 me->dvert,
1018                 do_verbose, true,
1019                 &changed);
1020
1021         if (changed) {
1022                 DAG_id_tag_update(&me->id, OB_RECALC_DATA);
1023                 return true;
1024         }
1025         else {
1026                 return false;
1027         }
1028 }
1029
1030 /**
1031  * Duplicate of BM_mesh_cd_validate() for Mesh data.
1032  */
1033 void BKE_mesh_cd_validate(Mesh *me)
1034 {
1035         int totlayer_mtex = CustomData_number_of_layers(&me->pdata, CD_MTEXPOLY);
1036         int totlayer_uv = CustomData_number_of_layers(&me->ldata, CD_MLOOPUV);
1037         int totlayer_mcol = CustomData_number_of_layers(&me->ldata, CD_MLOOPCOL);
1038         int mtex_index = CustomData_get_layer_index(&me->pdata, CD_MTEXPOLY);
1039         int uv_index = CustomData_get_layer_index(&me->ldata, CD_MLOOPUV);
1040         int i;
1041
1042         /* XXX For now, do not delete those, just warn they are not really usable. */
1043         if (UNLIKELY(totlayer_mtex > MAX_MTFACE)) {
1044                 printf("WARNING! More UV layers than %d allowed, %d last ones won't be available for render, shaders, etc.\n",
1045                        MAX_MTFACE, totlayer_mtex - MAX_MTFACE);
1046         }
1047         if (UNLIKELY(totlayer_uv > MAX_MTFACE)) {
1048                 printf("WARNING! More UV layers than %d allowed, %d last ones won't be available for render, shaders, etc.\n",
1049                        MAX_MTFACE, totlayer_uv - MAX_MTFACE);
1050         }
1051         if (UNLIKELY(totlayer_mcol > MAX_MCOL)) {
1052                 printf("WARNING! More VCol layers than %d allowed, %d last ones won't be available for render, shaders, etc.\n",
1053                        MAX_MCOL, totlayer_mcol - MAX_MCOL);
1054         }
1055
1056         if (LIKELY(totlayer_mtex == totlayer_uv)) {
1057                 /* pass */
1058         }
1059         else if (totlayer_mtex < totlayer_uv) {
1060                 do {
1061                         const char *from_name =  me->ldata.layers[uv_index + totlayer_mtex].name;
1062                         CustomData_add_layer_named(&me->pdata, CD_MTEXPOLY, CD_DEFAULT, NULL, me->totpoly, from_name);
1063                         CustomData_set_layer_unique_name(&me->pdata, totlayer_mtex);
1064                 } while (totlayer_uv != ++totlayer_mtex);
1065                 mtex_index = CustomData_get_layer_index(&me->pdata, CD_MTEXPOLY);
1066         }
1067         else if (totlayer_uv < totlayer_mtex) {
1068                 do {
1069                         const char *from_name = me->pdata.layers[mtex_index + totlayer_uv].name;
1070                         CustomData_add_layer_named(&me->ldata, CD_MLOOPUV, CD_DEFAULT, NULL, me->totloop, from_name);
1071                         CustomData_set_layer_unique_name(&me->ldata, totlayer_uv);
1072                 } while (totlayer_mtex != ++totlayer_uv);
1073                 uv_index = CustomData_get_layer_index(&me->ldata, CD_MLOOPUV);
1074         }
1075
1076         BLI_assert(totlayer_mtex == totlayer_uv);
1077
1078         /* Check uv/tex names match as well!!! */
1079         for (i = 0; i < totlayer_mtex; i++, mtex_index++, uv_index++) {
1080                 const char *name_src = me->pdata.layers[mtex_index].name;
1081                 const char *name_dst = me->ldata.layers[uv_index].name;
1082                 if (!STREQ(name_src, name_dst)) {
1083                         BKE_mesh_uv_cdlayer_rename_index(me, mtex_index, uv_index, -1, name_src, false);
1084                 }
1085         }
1086 }
1087
1088 /**
1089  * Check all material indices of polygons are valid, invalid ones are set to 0.
1090  * \returns is_valid.
1091  */
1092 int BKE_mesh_validate_material_indices(Mesh *me)
1093 {
1094         MPoly *mp;
1095         const int max_idx = max_ii(0, me->totcol - 1);
1096         const int totpoly = me->totpoly;
1097         int i;
1098         bool is_valid = true;
1099
1100         for (mp = me->mpoly, i = 0; i < totpoly; i++, mp++) {
1101                 if (mp->mat_nr > max_idx) {
1102                         mp->mat_nr = 0;
1103                         is_valid = false;
1104                 }
1105         }
1106
1107         if (!is_valid) {
1108                 DAG_id_tag_update(&me->id, OB_RECALC_DATA);
1109                 return true;
1110         }
1111         else {
1112                 return false;
1113         }
1114 }
1115
1116 /** \} */
1117
1118
1119 /* -------------------------------------------------------------------- */
1120
1121 /** \name Mesh Stripping (removing invalid data)
1122  * \{ */
1123
1124 /* We need to keep this for edge creation (for now?), and some old readfile code... */
1125 void BKE_mesh_strip_loose_faces(Mesh *me)
1126 {
1127         MFace *f;
1128         int a, b;
1129
1130         for (a = b = 0, f = me->mface; a < me->totface; a++, f++) {
1131                 if (f->v3) {
1132                         if (a != b) {
1133                                 memcpy(&me->mface[b], f, sizeof(me->mface[b]));
1134                                 CustomData_copy_data(&me->fdata, &me->fdata, a, b, 1);
1135                         }
1136                         b++;
1137                 }
1138         }
1139         if (a != b) {
1140                 CustomData_free_elem(&me->fdata, b, a - b);
1141                 me->totface = b;
1142         }
1143 }
1144
1145 /* Works on both loops and polys! */
1146 /* Note: It won't try to guess which loops of an invalid poly to remove!
1147  *       this is the work of the caller, to mark those loops...
1148  *       See e.g. BKE_mesh_validate_arrays(). */
1149 void BKE_mesh_strip_loose_polysloops(Mesh *me)
1150 {
1151         MPoly *p;
1152         MLoop *l;
1153         int a, b;
1154         /* New loops idx! */
1155         int *new_idx = MEM_mallocN(sizeof(int) * me->totloop, __func__);
1156
1157         for (a = b = 0, p = me->mpoly; a < me->totpoly; a++, p++) {
1158                 bool invalid = false;
1159                 int i = p->loopstart;
1160                 int stop = i + p->totloop;
1161
1162                 if (stop > me->totloop || stop < i) {
1163                         invalid = true;
1164                 }
1165                 else {
1166                         l = &me->mloop[i];
1167                         i = stop - i;
1168                         /* If one of the poly's loops is invalid, the whole poly is invalid! */
1169                         for (; i--; l++) {
1170                                 if (l->e == INVALID_LOOP_EDGE_MARKER) {
1171                                         invalid = true;
1172                                         break;
1173                                 }
1174                         }
1175                 }
1176
1177                 if (p->totloop >= 3 && !invalid) {
1178                         if (a != b) {
1179                                 memcpy(&me->mpoly[b], p, sizeof(me->mpoly[b]));
1180                                 CustomData_copy_data(&me->pdata, &me->pdata, a, b, 1);
1181                         }
1182                         b++;
1183                 }
1184         }
1185         if (a != b) {
1186                 CustomData_free_elem(&me->pdata, b, a - b);
1187                 me->totpoly = b;
1188         }
1189
1190         /* And now, get rid of invalid loops. */
1191         for (a = b = 0, l = me->mloop; a < me->totloop; a++, l++) {
1192                 if (l->e != INVALID_LOOP_EDGE_MARKER) {
1193                         if (a != b) {
1194                                 memcpy(&me->mloop[b], l, sizeof(me->mloop[b]));
1195                                 CustomData_copy_data(&me->ldata, &me->ldata, a, b, 1);
1196                         }
1197                         new_idx[a] = b;
1198                         b++;
1199                 }
1200                 else {
1201                         /* XXX Theoretically, we should be able to not do this, as no remaining poly
1202                          *     should use any stripped loop. But for security's sake... */
1203                         new_idx[a] = -a;
1204                 }
1205         }
1206         if (a != b) {
1207                 CustomData_free_elem(&me->ldata, b, a - b);
1208                 me->totloop = b;
1209         }
1210
1211         /* And now, update polys' start loop index. */
1212         /* Note: At this point, there should never be any poly using a striped loop! */
1213         for (a = 0, p = me->mpoly; a < me->totpoly; a++, p++) {
1214                 p->loopstart = new_idx[p->loopstart];
1215         }
1216
1217         MEM_freeN(new_idx);
1218 }
1219
1220 void BKE_mesh_strip_loose_edges(Mesh *me)
1221 {
1222         MEdge *e;
1223         MLoop *l;
1224         int a, b;
1225         unsigned int *new_idx = MEM_mallocN(sizeof(int) * me->totedge, __func__);
1226
1227         for (a = b = 0, e = me->medge; a < me->totedge; a++, e++) {
1228                 if (e->v1 != e->v2) {
1229                         if (a != b) {
1230                                 memcpy(&me->medge[b], e, sizeof(me->medge[b]));
1231                                 CustomData_copy_data(&me->edata, &me->edata, a, b, 1);
1232                         }
1233                         new_idx[a] = b;
1234                         b++;
1235                 }
1236                 else {
1237                         new_idx[a] = INVALID_LOOP_EDGE_MARKER;
1238                 }
1239         }
1240         if (a != b) {
1241                 CustomData_free_elem(&me->edata, b, a - b);
1242                 me->totedge = b;
1243         }
1244
1245         /* And now, update loops' edge indices. */
1246         /* XXX We hope no loop was pointing to a striped edge!
1247          *     Else, its e will be set to INVALID_LOOP_EDGE_MARKER :/ */
1248         for (a = 0, l = me->mloop; a < me->totloop; a++, l++) {
1249                 l->e = new_idx[l->e];
1250         }
1251
1252         MEM_freeN(new_idx);
1253 }
1254 /** \} */
1255
1256
1257
1258 /* -------------------------------------------------------------------- */
1259
1260 /** \name Mesh Edge Calculation
1261  * \{ */
1262
1263 /* make edges in a Mesh, for outside of editmode */
1264
1265 struct EdgeSort {
1266         unsigned int v1, v2;
1267         char is_loose, is_draw;
1268 };
1269
1270 /* edges have to be added with lowest index first for sorting */
1271 static void to_edgesort(struct EdgeSort *ed,
1272                         unsigned int v1, unsigned int v2,
1273                         char is_loose, short is_draw)
1274 {
1275         if (v1 < v2) {
1276                 ed->v1 = v1; ed->v2 = v2;
1277         }
1278         else {
1279                 ed->v1 = v2; ed->v2 = v1;
1280         }
1281         ed->is_loose = is_loose;
1282         ed->is_draw = is_draw;
1283 }
1284
1285 static int vergedgesort(const void *v1, const void *v2)
1286 {
1287         const struct EdgeSort *x1 = v1, *x2 = v2;
1288
1289         if (x1->v1 > x2->v1) return 1;
1290         else if (x1->v1 < x2->v1) return -1;
1291         else if (x1->v2 > x2->v2) return 1;
1292         else if (x1->v2 < x2->v2) return -1;
1293
1294         return 0;
1295 }
1296
1297
1298 /* Create edges based on known verts and faces,
1299  * this function is only used when loading very old blend files */
1300
1301 static void mesh_calc_edges_mdata(
1302         MVert *UNUSED(allvert), MFace *allface, MLoop *allloop,
1303         MPoly *allpoly, int UNUSED(totvert), int totface, int UNUSED(totloop), int totpoly,
1304         const bool use_old,
1305         MEdge **r_medge, int *r_totedge)
1306 {
1307         MPoly *mpoly;
1308         MFace *mface;
1309         MEdge *medge, *med;
1310         EdgeHash *hash;
1311         struct EdgeSort *edsort, *ed;
1312         int a, totedge = 0;
1313         unsigned int totedge_final = 0;
1314         unsigned int edge_index;
1315
1316         /* we put all edges in array, sort them, and detect doubles that way */
1317
1318         for (a = totface, mface = allface; a > 0; a--, mface++) {
1319                 if (mface->v4) totedge += 4;
1320                 else if (mface->v3) totedge += 3;
1321                 else totedge += 1;
1322         }
1323
1324         if (totedge == 0) {
1325                 /* flag that mesh has edges */
1326                 (*r_medge) = MEM_callocN(0, __func__);
1327                 (*r_totedge) = 0;
1328                 return;
1329         }
1330
1331         ed = edsort = MEM_mallocN(totedge * sizeof(struct EdgeSort), "EdgeSort");
1332
1333         for (a = totface, mface = allface; a > 0; a--, mface++) {
1334                 to_edgesort(ed++, mface->v1, mface->v2, !mface->v3, mface->edcode & ME_V1V2);
1335                 if (mface->v4) {
1336                         to_edgesort(ed++, mface->v2, mface->v3, 0, mface->edcode & ME_V2V3);
1337                         to_edgesort(ed++, mface->v3, mface->v4, 0, mface->edcode & ME_V3V4);
1338                         to_edgesort(ed++, mface->v4, mface->v1, 0, mface->edcode & ME_V4V1);
1339                 }
1340                 else if (mface->v3) {
1341                         to_edgesort(ed++, mface->v2, mface->v3, 0, mface->edcode & ME_V2V3);
1342                         to_edgesort(ed++, mface->v3, mface->v1, 0, mface->edcode & ME_V3V1);
1343                 }
1344         }
1345
1346         qsort(edsort, totedge, sizeof(struct EdgeSort), vergedgesort);
1347
1348         /* count final amount */
1349         for (a = totedge, ed = edsort; a > 1; a--, ed++) {
1350                 /* edge is unique when it differs from next edge, or is last */
1351                 if (ed->v1 != (ed + 1)->v1 || ed->v2 != (ed + 1)->v2) totedge_final++;
1352         }
1353         totedge_final++;
1354
1355         medge = MEM_callocN(sizeof(MEdge) * totedge_final, __func__);
1356
1357         for (a = totedge, med = medge, ed = edsort; a > 1; a--, ed++) {
1358                 /* edge is unique when it differs from next edge, or is last */
1359                 if (ed->v1 != (ed + 1)->v1 || ed->v2 != (ed + 1)->v2) {
1360                         med->v1 = ed->v1;
1361                         med->v2 = ed->v2;
1362                         if (use_old == false || ed->is_draw) med->flag = ME_EDGEDRAW | ME_EDGERENDER;
1363                         if (ed->is_loose) med->flag |= ME_LOOSEEDGE;
1364
1365                         /* order is swapped so extruding this edge as a surface wont flip face normals
1366                          * with cyclic curves */
1367                         if (ed->v1 + 1 != ed->v2) {
1368                                 SWAP(unsigned int, med->v1, med->v2);
1369                         }
1370                         med++;
1371                 }
1372                 else {
1373                         /* equal edge, we merge the drawflag */
1374                         (ed + 1)->is_draw |= ed->is_draw;
1375                 }
1376         }
1377         /* last edge */
1378         med->v1 = ed->v1;
1379         med->v2 = ed->v2;
1380         med->flag = ME_EDGEDRAW;
1381         if (ed->is_loose) med->flag |= ME_LOOSEEDGE;
1382         med->flag |= ME_EDGERENDER;
1383
1384         MEM_freeN(edsort);
1385
1386         /* set edge members of mloops */
1387         hash = BLI_edgehash_new_ex(__func__, totedge_final);
1388         for (edge_index = 0, med = medge; edge_index < totedge_final; edge_index++, med++) {
1389                 BLI_edgehash_insert(hash, med->v1, med->v2, SET_UINT_IN_POINTER(edge_index));
1390         }
1391
1392         mpoly = allpoly;
1393         for (a = 0; a < totpoly; a++, mpoly++) {
1394                 MLoop *ml, *ml_next;
1395                 int i = mpoly->totloop;
1396
1397                 ml_next = allloop + mpoly->loopstart;  /* first loop */
1398                 ml = &ml_next[i - 1];                  /* last loop */
1399
1400                 while (i-- != 0) {
1401                         ml->e = GET_UINT_FROM_POINTER(BLI_edgehash_lookup(hash, ml->v, ml_next->v));
1402                         ml = ml_next;
1403                         ml_next++;
1404                 }
1405         }
1406
1407         BLI_edgehash_free(hash, NULL);
1408
1409         *r_medge = medge;
1410         *r_totedge = totedge_final;
1411 }
1412
1413 /**
1414  * If the mesh is from a very old blender version,
1415  * convert mface->edcode to edge drawflags
1416  */
1417 void BKE_mesh_calc_edges_legacy(Mesh *me, const bool use_old)
1418 {
1419         MEdge *medge;
1420         int totedge = 0;
1421
1422         mesh_calc_edges_mdata(me->mvert, me->mface, me->mloop, me->mpoly,
1423                               me->totvert, me->totface, me->totloop, me->totpoly,
1424                               use_old, &medge, &totedge);
1425
1426         if (totedge == 0) {
1427                 /* flag that mesh has edges */
1428                 me->medge = medge;
1429                 me->totedge = 0;
1430                 return;
1431         }
1432
1433         medge = CustomData_add_layer(&me->edata, CD_MEDGE, CD_ASSIGN, medge, totedge);
1434         me->medge = medge;
1435         me->totedge = totedge;
1436
1437         BKE_mesh_strip_loose_faces(me);
1438 }
1439
1440
1441 /**
1442  * Calculate edges from polygons
1443  *
1444  * \param mesh  The mesh to add edges into
1445  * \param update  When true create new edges co-exist
1446  */
1447 void BKE_mesh_calc_edges(Mesh *mesh, bool update, const bool select)
1448 {
1449         CustomData edata;
1450         EdgeHashIterator *ehi;
1451         MPoly *mp;
1452         MEdge *med, *med_orig;
1453         EdgeHash *eh;
1454         unsigned int eh_reserve;
1455         int i, totedge, totpoly = mesh->totpoly;
1456         int med_index;
1457         /* select for newly created meshes which are selected [#25595] */
1458         const short ed_flag = (ME_EDGEDRAW | ME_EDGERENDER) | (select ? SELECT : 0);
1459
1460         if (mesh->totedge == 0)
1461                 update = false;
1462
1463         eh_reserve = max_ii(update ? mesh->totedge : 0, BLI_EDGEHASH_SIZE_GUESS_FROM_POLYS(totpoly));
1464         eh = BLI_edgehash_new_ex(__func__, eh_reserve);
1465
1466         if (update) {
1467                 /* assume existing edges are valid
1468                  * useful when adding more faces and generating edges from them */
1469                 med = mesh->medge;
1470                 for (i = 0; i < mesh->totedge; i++, med++)
1471                         BLI_edgehash_insert(eh, med->v1, med->v2, med);
1472         }
1473
1474         /* mesh loops (bmesh only) */
1475         for (mp = mesh->mpoly, i = 0; i < totpoly; mp++, i++) {
1476                 MLoop *l = &mesh->mloop[mp->loopstart];
1477                 int j, v_prev = (l + (mp->totloop - 1))->v;
1478                 for (j = 0; j < mp->totloop; j++, l++) {
1479                         if (v_prev != l->v) {
1480                                 void **val_p;
1481                                 if (!BLI_edgehash_ensure_p(eh, v_prev, l->v, &val_p)) {
1482                                         *val_p = NULL;
1483                                 }
1484                         }
1485                         v_prev = l->v;
1486                 }
1487         }
1488
1489         totedge = BLI_edgehash_size(eh);
1490
1491         /* write new edges into a temporary CustomData */
1492         CustomData_reset(&edata);
1493         CustomData_add_layer(&edata, CD_MEDGE, CD_CALLOC, NULL, totedge);
1494
1495         med = CustomData_get_layer(&edata, CD_MEDGE);
1496         for (ehi = BLI_edgehashIterator_new(eh), i = 0;
1497              BLI_edgehashIterator_isDone(ehi) == false;
1498              BLI_edgehashIterator_step(ehi), ++i, ++med)
1499         {
1500                 if (update && (med_orig = BLI_edgehashIterator_getValue(ehi))) {
1501                         *med = *med_orig; /* copy from the original */
1502                 }
1503                 else {
1504                         BLI_edgehashIterator_getKey(ehi, &med->v1, &med->v2);
1505                         med->flag = ed_flag;
1506                 }
1507
1508                 /* store the new edge index in the hash value */
1509                 BLI_edgehashIterator_setValue(ehi, SET_INT_IN_POINTER(i));
1510         }
1511         BLI_edgehashIterator_free(ehi);
1512
1513         if (mesh->totpoly) {
1514                 /* second pass, iterate through all loops again and assign
1515                  * the newly created edges to them. */
1516                 for (mp = mesh->mpoly, i = 0; i < mesh->totpoly; mp++, i++) {
1517                         MLoop *l = &mesh->mloop[mp->loopstart];
1518                         MLoop *l_prev = (l + (mp->totloop - 1));
1519                         int j;
1520                         for (j = 0; j < mp->totloop; j++, l++) {
1521                                 /* lookup hashed edge index */
1522                                 med_index = GET_INT_FROM_POINTER(BLI_edgehash_lookup(eh, l_prev->v, l->v));
1523                                 l_prev->e = med_index;
1524                                 l_prev = l;
1525                         }
1526                 }
1527         }
1528
1529         /* free old CustomData and assign new one */
1530         CustomData_free(&mesh->edata, mesh->totedge);
1531         mesh->edata = edata;
1532         mesh->totedge = totedge;
1533
1534         mesh->medge = CustomData_get_layer(&mesh->edata, CD_MEDGE);
1535
1536         BLI_edgehash_free(eh, NULL);
1537 }
1538 /** \} */