source/blender/blenkernel/intern/mesh_validate.c

   1 /*
   2  * ***** BEGIN GPL LICENSE BLOCK *****
   3  *
   4  * This program is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU General Public License
   6  * as published by the Free Software Foundation; either version 2
   7  * of the License, or (at your option) any later version.
   8  *
   9  * This program is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12  * GNU General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU General Public License
  15  * along with this program; if not, write to the Free Software Foundation,
  16  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
  17  *
  18  * The Original Code is Copyright (C) 2011 Blender Foundation.
  19  * All rights reserved.
  20  *
  21  * ***** END GPL LICENSE BLOCK *****
  22  */
  23
  24 /** \file blender/blenkernel/intern/mesh_validate.c
  25  *  \ingroup bke
  26  */
  27
  28
  29 #include <stdio.h>
  30 #include <stdlib.h>
  31 #include <string.h>
  32 #include <limits.h>
  33
  34 #include "DNA_mesh_types.h"
  35 #include "DNA_meshdata_types.h"
  36 #include "DNA_object_types.h"
  37
  38 #include "BLI_sys_types.h"
  39
  40 #include "BLI_utildefines.h"
  41 #include "BLI_edgehash.h"
  42 #include "BLI_math_base.h"
  43 #include "BLI_math_vector.h"
  44
  45 #include "BKE_deform.h"
  46 #include "BKE_depsgraph.h"
  47 #include "BKE_DerivedMesh.h"
  48 #include "BKE_mesh.h"
  49
  50 #include "MEM_guardedalloc.h"
  51
  52 /* loop v/e are unsigned, so using max uint_32 value as invalid marker... */
  53 #define INVALID_LOOP_EDGE_MARKER 4294967295u
  54
  55
  56 /** \name Internal functions
  57  * \{ */
  58
  59 typedef union {
  60         uint32_t verts[2];
  61         int64_t edval;
  62 } EdgeUUID;
  63
  64 typedef struct SortFace {
  65         EdgeUUID     es[4];
  66         unsigned int index;
  67 } SortFace;
  68
  69 /* Used to detect polys (faces) using exactly the same vertices. */
  70 /* Used to detect loops used by no (disjoint) or more than one (intersect) polys. */
  71 typedef struct SortPoly {
  72         int *verts;
  73         int numverts;
  74         int loopstart;
  75         unsigned int index;
  76         bool invalid;  /* Poly index. */
  77 } SortPoly;
  78
  79 static void edge_store_assign(uint32_t verts[2],  const uint32_t v1, const uint32_t v2)
  80 {
  81         if (v1 < v2) {
  82                 verts[0] = v1;
  83                 verts[1] = v2;
  84         }
  85         else {
  86                 verts[0] = v2;
  87                 verts[1] = v1;
  88         }
  89 }
  90
  91 static void edge_store_from_mface_quad(EdgeUUID es[4], MFace *mf)
  92 {
  93         edge_store_assign(es[0].verts, mf->v1, mf->v2);
  94         edge_store_assign(es[1].verts, mf->v2, mf->v3);
  95         edge_store_assign(es[2].verts, mf->v3, mf->v4);
  96         edge_store_assign(es[3].verts, mf->v4, mf->v1);
  97 }
  98
  99 static void edge_store_from_mface_tri(EdgeUUID es[4], MFace *mf)
 100 {
 101         edge_store_assign(es[0].verts, mf->v1, mf->v2);
 102         edge_store_assign(es[1].verts, mf->v2, mf->v3);
 103         edge_store_assign(es[2].verts, mf->v3, mf->v1);
 104         es[3].verts[0] = es[3].verts[1] = UINT_MAX;
 105 }
 106
 107 static int int64_cmp(const void *v1, const void *v2)
 108 {
 109         const int64_t x1 = *(const int64_t *)v1;
 110         const int64_t x2 = *(const int64_t *)v2;
 111
 112         if (x1 > x2) {
 113                 return 1;
 114         }
 115         else if (x1 < x2) {
 116                 return -1;
 117         }
 118
 119         return 0;
 120 }
 121
 122 static int search_face_cmp(const void *v1, const void *v2)
 123 {
 124         const SortFace *sfa = v1, *sfb = v2;
 125
 126         if (sfa->es[0].edval > sfb->es[0].edval) {
 127                 return 1;
 128         }
 129         else if (sfa->es[0].edval < sfb->es[0].edval) {
 130                 return -1;
 131         }
 132
 133         else if (sfa->es[1].edval > sfb->es[1].edval) {
 134                 return 1;
 135         }
 136         else if (sfa->es[1].edval < sfb->es[1].edval) {
 137                 return -1;
 138         }
 139
 140         else if (sfa->es[2].edval > sfb->es[2].edval) {
 141                 return 1;
 142         }
 143         else if (sfa->es[2].edval < sfb->es[2].edval) {
 144                 return -1;
 145         }
 146
 147         else if (sfa->es[3].edval > sfb->es[3].edval) {
 148                 return 1;
 149         }
 150         else if (sfa->es[3].edval < sfb->es[3].edval) {
 151                 return -1;
 152         }
 153
 154         return 0;
 155 }
 156
 157 /* TODO check there is not some standard define of this somewhere! */
 158 static int int_cmp(const void *v1, const void *v2)
 159 {
 160         return *(int *)v1 > *(int *)v2 ? 1 : *(int *)v1 < *(int *)v2 ? -1 : 0;
 161 }
 162
 163 static int search_poly_cmp(const void *v1, const void *v2)
 164 {
 165         const SortPoly *sp1 = v1, *sp2 = v2;
 166         const int max_idx = sp1->numverts > sp2->numverts ? sp2->numverts : sp1->numverts;
 167         int idx;
 168
 169         /* Reject all invalid polys at end of list! */
 170         if (sp1->invalid || sp2->invalid)
 171                 return sp1->invalid ? (sp2->invalid ? 0 : 1) : -1;
 172         /* Else, sort on first non-equal verts (remember verts of valid polys are sorted). */
 173         for (idx = 0; idx < max_idx; idx++) {
 174                 const int v1_i = sp1->verts[idx];
 175                 const int v2_i = sp2->verts[idx];
 176                 if (v1_i != v2_i) {
 177                         return (v1_i > v2_i) ? 1 : -1;
 178                 }
 179         }
 180         return sp1->numverts > sp2->numverts ? 1 : sp1->numverts < sp2->numverts ? -1 : 0;
 181 }
 182
 183 static int search_polyloop_cmp(const void *v1, const void *v2)
 184 {
 185         const SortPoly *sp1 = v1, *sp2 = v2;
 186
 187         /* Reject all invalid polys at end of list! */
 188         if (sp1->invalid || sp2->invalid)
 189                 return sp1->invalid && sp2->invalid ? 0 : sp1->invalid ? 1 : -1;
 190         /* Else, sort on loopstart. */
 191         return sp1->loopstart > sp2->loopstart ? 1 : sp1->loopstart < sp2->loopstart ? -1 : 0;
 192 }
 193 /** \} */
 194
 195
 196
 197 /* -------------------------------------------------------------------- */
 198
 199 /** \name Mesh Validation
 200  * \{ */
 201
 202 #define PRINT_MSG(...) (void) \
 203         ( \
 204          ((do_verbose) ? printf(__VA_ARGS__) : 0))
 205
 206 #define PRINT_ERR(...) (void) \
 207         (is_valid = false, \
 208          ((do_verbose) ? printf(__VA_ARGS__) : 0))
 209
 210 /**
 211  * Validate the mesh, \a do_fixes requires \a mesh to be non-null.
 212  *
 213  * \return false if no changes needed to be made.
 214  */
 215 bool BKE_mesh_validate_arrays(
 216         Mesh *mesh,
 217         MVert *mverts, unsigned int totvert,
 218         MEdge *medges, unsigned int totedge,
 219         MFace *mfaces, unsigned int totface,
 220         MLoop *mloops, unsigned int totloop,
 221         MPoly *mpolys, unsigned int totpoly,
 222         MDeformVert *dverts, /* assume totvert length */
 223         const bool do_verbose, const bool do_fixes,
 224         bool *r_changed)
 225 {
 226 #   define REMOVE_EDGE_TAG(_me) { _me->v2 = _me->v1; free_flag.edges = do_fixes; } (void)0
 227 #   define IS_REMOVED_EDGE(_me) (_me->v2 == _me->v1)
 228
 229 #   define REMOVE_LOOP_TAG(_ml) { _ml->e = INVALID_LOOP_EDGE_MARKER; free_flag.polyloops = do_fixes; } (void)0
 230 #   define REMOVE_POLY_TAG(_mp) { _mp->totloop *= -1; free_flag.polyloops = do_fixes; } (void)0
 231
 232         MVert *mv = mverts;
 233         MEdge *me;
 234         MLoop *ml;
 235         MPoly *mp;
 236         unsigned int i, j;
 237         int *v;
 238
 239         bool is_valid = true;
 240
 241         union {
 242                 struct {
 243                         int verts : 1;
 244                         int verts_weight : 1;
 245                         int loops_edge : 1;
 246                 };
 247                 int as_flag;
 248         } fix_flag;
 249
 250         union {
 251                 struct {
 252                         int edges : 1;
 253                         int faces : 1;
 254                         /* This regroups loops and polys! */
 255                         int polyloops : 1;
 256                         int mselect : 1;
 257                 };
 258                 int as_flag;
 259         } free_flag;
 260
 261         union {
 262                 struct {
 263                         int edges : 1;
 264                 };
 265                 int as_flag;
 266         } recalc_flag;
 267
 268         EdgeHash *edge_hash = BLI_edgehash_new_ex(__func__, totedge);
 269
 270         BLI_assert(!(do_fixes && mesh == NULL));
 271
 272         fix_flag.as_flag = 0;
 273         free_flag.as_flag = 0;
 274         recalc_flag.as_flag = 0;
 275
 276         PRINT_MSG("%s: verts(%u), edges(%u), loops(%u), polygons(%u)\n",
 277                   __func__, totvert, totedge, totloop, totpoly);
 278
 279         if (totedge == 0 && totpoly != 0) {
 280                 PRINT_ERR("\tLogical error, %u polygons and 0 edges\n", totpoly);
 281                 recalc_flag.edges = do_fixes;
 282         }
 283
 284         for (i = 0; i < totvert; i++, mv++) {
 285                 bool fix_normal = true;
 286
 287                 for (j = 0; j < 3; j++) {
 288                         if (!isfinite(mv->co[j])) {
 289                                 PRINT_ERR("\tVertex %u: has invalid coordinate\n", i);
 290
 291                                 if (do_fixes) {
 292                                         zero_v3(mv->co);
 293
 294                                         fix_flag.verts = true;
 295                                 }
 296                         }
 297
 298                         if (mv->no[j] != 0)
 299                                 fix_normal = false;
 300                 }
 301
 302                 if (fix_normal) {
 303                         PRINT_ERR("\tVertex %u: has zero normal, assuming Z-up normal\n", i);
 304                         if (do_fixes) {
 305                                 mv->no[2] = SHRT_MAX;
 306                                 fix_flag.verts = true;
 307                         }
 308                 }
 309         }
 310
 311         for (i = 0, me = medges; i < totedge; i++, me++) {
 312                 bool remove = false;
 313
 314                 if (me->v1 == me->v2) {
 315                         PRINT_ERR("\tEdge %u: has matching verts, both %u\n", i, me->v1);
 316                         remove = do_fixes;
 317                 }
 318                 if (me->v1 >= totvert) {
 319                         PRINT_ERR("\tEdge %u: v1 index out of range, %u\n", i, me->v1);
 320                         remove = do_fixes;
 321                 }
 322                 if (me->v2 >= totvert) {
 323                         PRINT_ERR("\tEdge %u: v2 index out of range, %u\n", i, me->v2);
 324                         remove = do_fixes;
 325                 }
 326
 327                 if ((me->v1 != me->v2) && BLI_edgehash_haskey(edge_hash, me->v1, me->v2)) {
 328                         PRINT_ERR("\tEdge %u: is a duplicate of %d\n", i,
 329                                   POINTER_AS_INT(BLI_edgehash_lookup(edge_hash, me->v1, me->v2)));
 330                         remove = do_fixes;
 331                 }
 332
 333                 if (remove == false) {
 334                         if (me->v1 != me->v2) {
 335                                 BLI_edgehash_insert(edge_hash, me->v1, me->v2, POINTER_FROM_INT(i));
 336                         }
 337                 }
 338                 else {
 339                         REMOVE_EDGE_TAG(me);
 340                 }
 341         }
 342
 343         if (mfaces && !mpolys) {
 344 #               define REMOVE_FACE_TAG(_mf) { _mf->v3 = 0; free_flag.faces = do_fixes; } (void)0
 345 #               define CHECK_FACE_VERT_INDEX(a, b) \
 346                                         if (mf->a == mf->b) { \
 347                                                 PRINT_ERR("    face %u: verts invalid, " STRINGIFY(a) "/" STRINGIFY(b) " both %u\n", i, mf->a); \
 348                                                 remove = do_fixes; \
 349                                         } (void)0
 350 #               define CHECK_FACE_EDGE(a, b) \
 351                                         if (!BLI_edgehash_haskey(edge_hash, mf->a, mf->b)) { \
 352                                                 PRINT_ERR("    face %u: edge " STRINGIFY(a) "/" STRINGIFY(b) \
 353                                                           " (%u,%u) is missing edge data\n", i, mf->a, mf->b); \
 354                                                 recalc_flag.edges = do_fixes; \
 355                                         } (void)0
 356
 357                 MFace *mf;
 358                 MFace *mf_prev;
 359
 360                 SortFace *sort_faces = MEM_callocN(sizeof(SortFace) * totface, "search faces");
 361                 SortFace *sf;
 362                 SortFace *sf_prev;
 363                 unsigned int totsortface = 0;
 364
 365                 PRINT_ERR("No Polys, only tessellated Faces\n");
 366
 367                 for (i = 0, mf = mfaces, sf = sort_faces; i < totface; i++, mf++) {
 368                         bool remove = false;
 369                         int fidx;
 370                         unsigned int fv[4];
 371
 372                         fidx = mf->v4 ? 3 : 2;
 373                         do {
 374                                 fv[fidx] = *(&(mf->v1) + fidx);
 375                                 if (fv[fidx] >= totvert) {
 376                                         PRINT_ERR("\tFace %u: 'v%d' index out of range, %u\n", i, fidx + 1, fv[fidx]);
 377                                         remove = do_fixes;
 378                                 }
 379                         } while (fidx--);
 380
 381                         if (remove == false) {
 382                                 if (mf->v4) {
 383                                         CHECK_FACE_VERT_INDEX(v1, v2);
 384                                         CHECK_FACE_VERT_INDEX(v1, v3);
 385                                         CHECK_FACE_VERT_INDEX(v1, v4);
 386
 387                                         CHECK_FACE_VERT_INDEX(v2, v3);
 388                                         CHECK_FACE_VERT_INDEX(v2, v4);
 389
 390                                         CHECK_FACE_VERT_INDEX(v3, v4);
 391                                 }
 392                                 else {
 393                                         CHECK_FACE_VERT_INDEX(v1, v2);
 394                                         CHECK_FACE_VERT_INDEX(v1, v3);
 395
 396                                         CHECK_FACE_VERT_INDEX(v2, v3);
 397                                 }
 398
 399                                 if (remove == false) {
 400                                         if (totedge) {
 401                                                 if (mf->v4) {
 402                                                         CHECK_FACE_EDGE(v1, v2);
 403                                                         CHECK_FACE_EDGE(v2, v3);
 404                                                         CHECK_FACE_EDGE(v3, v4);
 405                                                         CHECK_FACE_EDGE(v4, v1);
 406                                                 }
 407                                                 else {
 408                                                         CHECK_FACE_EDGE(v1, v2);
 409                                                         CHECK_FACE_EDGE(v2, v3);
 410                                                         CHECK_FACE_EDGE(v3, v1);
 411                                                 }
 412                                         }
 413
 414                                         sf->index = i;
 415
 416                                         if (mf->v4) {
 417                                                 edge_store_from_mface_quad(sf->es, mf);
 418
 419                                                 qsort(sf->es, 4, sizeof(int64_t), int64_cmp);
 420                                         }
 421                                         else {
 422                                                 edge_store_from_mface_tri(sf->es, mf);
 423                                                 qsort(sf->es, 3, sizeof(int64_t), int64_cmp);
 424                                         }
 425
 426                                         totsortface++;
 427                                         sf++;
 428                                 }
 429                         }
 430
 431                         if (remove) {
 432                                 REMOVE_FACE_TAG(mf);
 433                         }
 434                 }
 435
 436                 qsort(sort_faces, totsortface, sizeof(SortFace), search_face_cmp);
 437
 438                 sf = sort_faces;
 439                 sf_prev = sf;
 440                 sf++;
 441
 442                 for (i = 1; i < totsortface; i++, sf++) {
 443                         bool remove = false;
 444
 445                         /* on a valid mesh, code below will never run */
 446                         if (memcmp(sf->es, sf_prev->es, sizeof(sf_prev->es)) == 0) {
 447                                 mf = mfaces + sf->index;
 448
 449                                 if (do_verbose) {
 450                                         mf_prev = mfaces + sf_prev->index;
 451
 452                                         if (mf->v4) {
 453                                                 PRINT_ERR("\tFace %u & %u: are duplicates (%u,%u,%u,%u) (%u,%u,%u,%u)\n",
 454                                                           sf->index, sf_prev->index, mf->v1, mf->v2, mf->v3, mf->v4,
 455                                                           mf_prev->v1, mf_prev->v2, mf_prev->v3, mf_prev->v4);
 456                                         }
 457                                         else {
 458                                                 PRINT_ERR("\tFace %u & %u: are duplicates (%u,%u,%u) (%u,%u,%u)\n",
 459                                                           sf->index, sf_prev->index, mf->v1, mf->v2, mf->v3,
 460                                                           mf_prev->v1, mf_prev->v2, mf_prev->v3);
 461                                         }
 462                                 }
 463
 464                                 remove = do_fixes;
 465                         }
 466                         else {
 467                                 sf_prev = sf;
 468                         }
 469
 470                         if (remove) {
 471                                 REMOVE_FACE_TAG(mf);
 472                         }
 473                 }
 474
 475                 MEM_freeN(sort_faces);
 476
 477 #               undef REMOVE_FACE_TAG
 478 #               undef CHECK_FACE_VERT_INDEX
 479 #               undef CHECK_FACE_EDGE
 480         }
 481
 482         /* Checking loops and polys is a bit tricky, as they are quite intricate...
 483          *
 484          * Polys must have:
 485          * - a valid loopstart value.
 486          * - a valid totloop value (>= 3 and loopstart+totloop < me.totloop).
 487          *
 488          * Loops must have:
 489          * - a valid v value.
 490          * - a valid e value (corresponding to the edge it defines with the next loop in poly).
 491          *
 492          * Also, loops not used by polys can be discarded.
 493          * And "intersecting" loops (i.e. loops used by more than one poly) are invalid,
 494          * so be sure to leave at most one poly per loop!
 495          */
 496         {
 497                 SortPoly *sort_polys = MEM_callocN(sizeof(SortPoly) * totpoly, "mesh validate's sort_polys");
 498                 SortPoly *prev_sp, *sp = sort_polys;
 499                 int prev_end;
 500
 501                 for (i = 0, mp = mpolys; i < totpoly; i++, mp++, sp++) {
 502                         sp->index = i;
 503
 504                         if (mp->loopstart < 0 || mp->totloop < 3) {
 505                                 /* Invalid loop data. */
 506                                 PRINT_ERR("\tPoly %u is invalid (loopstart: %d, totloop: %d)\n",
 507                                           sp->index, mp->loopstart, mp->totloop);
 508                                 sp->invalid = true;
 509                         }
 510                         else if (mp->loopstart + mp->totloop > totloop) {
 511                                 /* Invalid loop data. */
 512                                 PRINT_ERR("\tPoly %u uses loops out of range (loopstart: %d, loopend: %d, max nbr of loops: %u)\n",
 513                                           sp->index, mp->loopstart, mp->loopstart + mp->totloop - 1, totloop - 1);
 514                                 sp->invalid = true;
 515                         }
 516                         else {
 517                                 /* Poly itself is valid, for now. */
 518                                 int v1, v2; /* v1 is prev loop vert idx, v2 is current loop one. */
 519                                 sp->invalid = false;
 520                                 sp->verts = v = MEM_mallocN(sizeof(int) * mp->totloop, "Vert idx of SortPoly");
 521                                 sp->numverts = mp->totloop;
 522                                 sp->loopstart = mp->loopstart;
 523
 524                                 /* Ideally we would only have to do that once on all vertices before we start checking each poly, but
 525                                  * several polys can use same vert, so we have to ensure here all verts of current poly are cleared. */
 526                                 for (j = 0, ml = &mloops[sp->loopstart]; j < mp->totloop; j++, ml++) {
 527                                         if (ml->v < totvert) {
 528                                                 mverts[ml->v].flag &= ~ME_VERT_TMP_TAG;
 529                                         }
 530                                 }
 531
 532                                 /* Test all poly's loops' vert idx. */
 533                                 for (j = 0, ml = &mloops[sp->loopstart]; j < mp->totloop; j++, ml++, v++) {
 534                                         if (ml->v >= totvert) {
 535                                                 /* Invalid vert idx. */
 536                                                 PRINT_ERR("\tLoop %u has invalid vert reference (%u)\n", sp->loopstart + j, ml->v);
 537                                                 sp->invalid = true;
 538                                         }
 539                                         else if (mverts[ml->v].flag & ME_VERT_TMP_TAG) {
 540                                                 PRINT_ERR("\tPoly %u has duplicated vert reference at corner (%u)\n", i, j);
 541                                                 sp->invalid = true;
 542                                         }
 543                                         else {
 544                                                 mverts[ml->v].flag |= ME_VERT_TMP_TAG;
 545                                         }
 546                                         *v = ml->v;
 547                                 }
 548
 549                                 if (sp->invalid)
 550                                         continue;
 551
 552                                 /* Test all poly's loops. */
 553                                 for (j = 0, ml = &mloops[sp->loopstart]; j < mp->totloop; j++, ml++) {
 554                                         v1 = ml->v;
 555                                         v2 = mloops[sp->loopstart + (j + 1) % mp->totloop].v;
 556                                         if (!BLI_edgehash_haskey(edge_hash, v1, v2)) {
 557                                                 /* Edge not existing. */
 558                                                 PRINT_ERR("\tPoly %u needs missing edge (%d, %d)\n", sp->index, v1, v2);
 559                                                 if (do_fixes)
 560                                                         recalc_flag.edges = true;
 561                                                 else
 562                                                         sp->invalid = true;
 563                                         }
 564                                         else if (ml->e >= totedge) {
 565                                                 /* Invalid edge idx.
 566                                                  * We already know from previous text that a valid edge exists, use it (if allowed)! */
 567                                                 if (do_fixes) {
 568                                                         int prev_e = ml->e;
 569                                                         ml->e = POINTER_AS_INT(BLI_edgehash_lookup(edge_hash, v1, v2));
 570                                                         fix_flag.loops_edge = true;
 571                                                         PRINT_ERR("\tLoop %u has invalid edge reference (%d), fixed using edge %u\n",
 572                                                                   sp->loopstart + j, prev_e, ml->e);
 573                                                 }
 574                                                 else {
 575                                                         PRINT_ERR("\tLoop %u has invalid edge reference (%u)\n", sp->loopstart + j, ml->e);
 576                                                         sp->invalid = true;
 577                                                 }
 578                                         }
 579                                         else {
 580                                                 me = &medges[ml->e];
 581                                                 if (IS_REMOVED_EDGE(me) || !((me->v1 == v1 && me->v2 == v2) || (me->v1 == v2 && me->v2 == v1))) {
 582                                                         /* The pointed edge is invalid (tagged as removed, or vert idx mismatch),
 583                                                          * and we already know from previous test that a valid one exists, use it (if allowed)! */
 584                                                         if (do_fixes) {
 585                                                                 int prev_e = ml->e;
 586                                                                 ml->e = POINTER_AS_INT(BLI_edgehash_lookup(edge_hash, v1, v2));
 587                                                                 fix_flag.loops_edge = true;
 588                                                                 PRINT_ERR("\tPoly %u has invalid edge reference (%d, is_removed: %d), fixed using edge %u\n",
 589                                                                           sp->index, prev_e, IS_REMOVED_EDGE(me), ml->e);
 590                                                         }
 591                                                         else {
 592                                                                 PRINT_ERR("\tPoly %u has invalid edge reference (%u)\n", sp->index, ml->e);
 593                                                                 sp->invalid = true;
 594                                                         }
 595                                                 }
 596                                         }
 597                                 }
 598
 599                                 if (!sp->invalid) {
 600                                         /* Needed for checking polys using same verts below. */
 601                                         qsort(sp->verts, sp->numverts, sizeof(int), int_cmp);
 602                                 }
 603                         }
 604                 }
 605
 606                 /* Second check pass, testing polys using the same verts. */
 607                 qsort(sort_polys, totpoly, sizeof(SortPoly), search_poly_cmp);
 608                 sp = prev_sp = sort_polys;
 609                 sp++;
 610
 611                 for (i = 1; i < totpoly; i++, sp++) {
 612                         int p1_nv = sp->numverts, p2_nv = prev_sp->numverts;
 613                         const int *p1_v = sp->verts, *p2_v = prev_sp->verts;
 614
 615                         if (sp->invalid) {
 616                                 /* break, because all known invalid polys have been put at the end by qsort with search_poly_cmp. */
 617                                 break;
 618                         }
 619
 620                         /* Test same polys. */
 621 #if 0
 622                         {
 623                                 bool p1_sub = true, p2_sub = true;
 624
 625                                 /* NOTE: This performs a sub-set test. */
 626                                 /* XXX This (and the sort of verts list) is better than systematic
 627                                  *     search of all verts of one list into the other if lists have
 628                                  *     a fair amount of elements.
 629                                  *     Not sure however it's worth it in this case?
 630                                  *     But as we also need sorted vert list to check verts multi-used
 631                                  *     (in first pass of checks)... */
 632                                 /* XXX If we consider only "equal" polys (i.e. using exactly same set of verts)
 633                                  *     as invalid, better to replace this by a simple memory cmp... */
 634                                 while ((p1_nv && p2_nv) && (p1_sub || p2_sub)) {
 635                                         if (*p1_v < *p2_v) {
 636                                                 if (p1_sub)
 637                                                         p1_sub = false;
 638                                                 p1_nv--;
 639                                                 p1_v++;
 640                                         }
 641                                         else if (*p2_v < *p1_v) {
 642                                                 if (p2_sub)
 643                                                         p2_sub = false;
 644                                                 p2_nv--;
 645                                                 p2_v++;
 646                                         }
 647                                         else {
 648                                                 /* Equality, both next verts. */
 649                                                 p1_nv--;
 650                                                 p2_nv--;
 651                                                 p1_v++;
 652                                                 p2_v++;
 653                                         }
 654                                 }
 655                                 if (p1_nv && p1_sub)
 656                                         p1_sub = false;
 657                                 else if (p2_nv && p2_sub)
 658                                         p2_sub = false;
 659
 660                                 if (p1_sub && p2_sub) {
 661                                         PRINT("\tPolys %u and %u use same vertices, considering poly %u as invalid.\n",
 662                                                   prev_sp->index, sp->index, sp->index);
 663                                         sp->invalid = true;
 664                                 }
 665                                 /* XXX In fact, these might be valid? :/ */
 666                                 else if (p1_sub) {
 667                                         PRINT("\t%u is a sub-poly of %u, considering it as invalid.\n", sp->index, prev_sp->index);
 668                                         sp->invalid = true;
 669                                 }
 670                                 else if (p2_sub) {
 671                                         PRINT("\t%u is a sub-poly of %u, considering it as invalid.\n", prev_sp->index, sp->index);
 672                                         prev_sp->invalid = true;
 673                                         prev_sp = sp; /* sp is new reference poly. */
 674                                 }
 675                         }
 676 #else
 677                         if ((p1_nv == p2_nv) && (memcmp(p1_v, p2_v, p1_nv * sizeof(*p1_v)) == 0)) {
 678                                 if (do_verbose) {
 679                                         PRINT_ERR("\tPolys %u and %u use same vertices (%d",
 680                                                   prev_sp->index, sp->index, *p1_v);
 681                                         for (j = 1; j < p1_nv; j++)
 682                                                 PRINT_ERR(", %d", p1_v[j]);
 683                                         PRINT_ERR("), considering poly %u as invalid.\n", sp->index);
 684                                 }
 685                                 else {
 686                                         is_valid = false;
 687                                 }
 688                                 sp->invalid = true;
 689                         }
 690 #endif
 691                         else {
 692                                 prev_sp = sp;
 693                         }
 694                 }
 695
 696                 /* Third check pass, testing loops used by none or more than one poly. */
 697                 qsort(sort_polys, totpoly, sizeof(SortPoly), search_polyloop_cmp);
 698                 sp = sort_polys;
 699                 prev_sp = NULL;
 700                 prev_end = 0;
 701                 for (i = 0; i < totpoly; i++, sp++) {
 702                         /* Free this now, we don't need it anymore, and avoid us another loop! */
 703                         if (sp->verts)
 704                                 MEM_freeN(sp->verts);
 705
 706                         /* Note above prev_sp: in following code, we make sure it is always valid poly (or NULL). */
 707                         if (sp->invalid) {
 708                                 if (do_fixes) {
 709                                         REMOVE_POLY_TAG((&mpolys[sp->index]));
 710                                         /* DO NOT REMOVE ITS LOOPS!!!
 711                                          * As already invalid polys are at the end of the SortPoly list, the loops they
 712                                          * were the only users have already been tagged as "to remove" during previous
 713                                          * iterations, and we don't want to remove some loops that may be used by
 714                                          * another valid poly! */
 715                                 }
 716                         }
 717                         /* Test loops users. */
 718                         else {
 719                                 /* Unused loops. */
 720                                 if (prev_end < sp->loopstart) {
 721                                         for (j = prev_end, ml = &mloops[prev_end]; j < sp->loopstart; j++, ml++) {
 722                                                 PRINT_ERR("\tLoop %u is unused.\n", j);
 723                                                 if (do_fixes)
 724                                                         REMOVE_LOOP_TAG(ml);
 725                                         }
 726                                         prev_end = sp->loopstart + sp->numverts;
 727                                         prev_sp = sp;
 728                                 }
 729                                 /* Multi-used loops. */
 730                                 else if (prev_end > sp->loopstart) {
 731                                         PRINT_ERR("\tPolys %u and %u share loops from %d to %d, considering poly %u as invalid.\n",
 732                                                   prev_sp->index, sp->index, sp->loopstart, prev_end, sp->index);
 733                                         if (do_fixes) {
 734                                                 REMOVE_POLY_TAG((&mpolys[sp->index]));
 735                                                 /* DO NOT REMOVE ITS LOOPS!!!
 736                                                  * They might be used by some next, valid poly!
 737                                                  * Just not updating prev_end/prev_sp vars is enough to ensure the loops
 738                                                  * effectively no more needed will be marked as "to be removed"! */
 739                                         }
 740                                 }
 741                                 else {
 742                                         prev_end = sp->loopstart + sp->numverts;
 743                                         prev_sp = sp;
 744                                 }
 745                         }
 746                 }
 747                 /* We may have some remaining unused loops to get rid of! */
 748                 if (prev_end < totloop) {
 749                         for (j = prev_end, ml = &mloops[prev_end]; j < totloop; j++, ml++) {
 750                                 PRINT_ERR("\tLoop %u is unused.\n", j);
 751                                 if (do_fixes)
 752                                         REMOVE_LOOP_TAG(ml);
 753                         }
 754                 }
 755
 756                 MEM_freeN(sort_polys);
 757         }
 758
 759         BLI_edgehash_free(edge_hash, NULL);
 760
 761         /* fix deform verts */
 762         if (dverts) {
 763                 MDeformVert *dv;
 764                 for (i = 0, dv = dverts; i < totvert; i++, dv++) {
 765                         MDeformWeight *dw;
 766
 767                         for (j = 0, dw = dv->dw; j < dv->totweight; j++, dw++) {
 768                                 /* note, greater than max defgroups is accounted for in our code, but not < 0 */
 769                                 if (!isfinite(dw->weight)) {
 770                                         PRINT_ERR("\tVertex deform %u, group %d has weight: %f\n", i, dw->def_nr, dw->weight);
 771                                         if (do_fixes) {
 772                                                 dw->weight = 0.0f;
 773                                                 fix_flag.verts_weight = true;
 774                                         }
 775                                 }
 776                                 else if (dw->weight < 0.0f || dw->weight > 1.0f) {
 777                                         PRINT_ERR("\tVertex deform %u, group %d has weight: %f\n", i, dw->def_nr, dw->weight);
 778                                         if (do_fixes) {
 779                                                 CLAMP(dw->weight, 0.0f, 1.0f);
 780                                                 fix_flag.verts_weight = true;
 781                                         }
 782                                 }
 783
 784                                 if (dw->def_nr < 0) {
 785                                         PRINT_ERR("\tVertex deform %u, has invalid group %d\n", i, dw->def_nr);
 786                                         if (do_fixes) {
 787                                                 defvert_remove_group(dv, dw);
 788                                                 fix_flag.verts_weight = true;
 789
 790                                                 if (dv->dw) {
 791                                                         /* re-allocated, the new values compensate for stepping
 792                                                          * within the for loop and may not be valid */
 793                                                         j--;
 794                                                         dw = dv->dw + j;
 795
 796                                                 }
 797                                                 else { /* all freed */
 798                                                         break;
 799                                                 }
 800                                         }
 801                                 }
 802                         }
 803                 }
 804         }
 805
 806 #   undef REMOVE_EDGE_TAG
 807 #   undef IS_REMOVED_EDGE
 808 #   undef REMOVE_LOOP_TAG
 809 #   undef REMOVE_POLY_TAG
 810
 811         if (mesh) {
 812                 if (free_flag.faces) {
 813                         BKE_mesh_strip_loose_faces(mesh);
 814                 }
 815
 816                 if (free_flag.polyloops) {
 817                         BKE_mesh_strip_loose_polysloops(mesh);
 818                 }
 819
 820                 if (free_flag.edges) {
 821                         BKE_mesh_strip_loose_edges(mesh);
 822                 }
 823
 824                 if (recalc_flag.edges) {
 825                         BKE_mesh_calc_edges(mesh, true, false);
 826                 }
 827         }
 828
 829         if (mesh && mesh->mselect) {
 830                 MSelect *msel;
 831
 832                 for (i = 0, msel = mesh->mselect; i < mesh->totselect; i++, msel++) {
 833                         int tot_elem = 0;
 834
 835                         if (msel->index < 0) {
 836                                 PRINT_ERR("\tMesh select element %u type %d index is negative, "
 837                                           "resetting selection stack.\n", i, msel->type);
 838                                 free_flag.mselect = do_fixes;
 839                                 break;
 840                         }
 841
 842                         switch (msel->type) {
 843                                 case ME_VSEL:
 844                                         tot_elem = mesh->totvert;
 845                                         break;
 846                                 case ME_ESEL:
 847                                         tot_elem = mesh->totedge;
 848                                         break;
 849                                 case ME_FSEL:
 850                                         tot_elem = mesh->totface;
 851                                         break;
 852                         }
 853
 854                         if (msel->index > tot_elem) {
 855                                 PRINT_ERR("\tMesh select element %u type %d index %d is larger than data array size %d, "
 856                                           "resetting selection stack.\n", i, msel->type, msel->index, tot_elem);
 857
 858                                 free_flag.mselect = do_fixes;
 859                                 break;
 860                         }
 861                 }
 862
 863                 if (free_flag.mselect) {
 864                         MEM_freeN(mesh->mselect);
 865                         mesh->mselect = NULL;
 866                         mesh->totselect = 0;
 867                 }
 868         }
 869
 870         PRINT_MSG("%s: finished\n\n", __func__);
 871
 872         *r_changed = (fix_flag.as_flag || free_flag.as_flag || recalc_flag.as_flag);
 873
 874         BLI_assert((*r_changed == false) || (do_fixes == true));
 875
 876         return is_valid;
 877 }
 878
 879 static bool mesh_validate_customdata(
 880         CustomData *data, CustomDataMask mask,
 881         const bool do_verbose, const bool do_fixes,
 882         bool *r_change)
 883 {
 884         bool is_valid = true;
 885         bool has_fixes = false;
 886         int i = 0;
 887
 888         PRINT_MSG("%s: Checking %d CD layers...\n", __func__, data->totlayer);
 889
 890         while (i < data->totlayer) {
 891                 CustomDataLayer *layer = &data->layers[i];
 892                 bool ok = true;
 893
 894                 if (CustomData_layertype_is_singleton(layer->type)) {
 895                         const int layer_tot = CustomData_number_of_layers(data, layer->type);
 896                         if (layer_tot > 1) {
 897                                 PRINT_ERR("\tCustomDataLayer type %d is a singleton, found %d in Mesh structure\n",
 898                                           layer->type, layer_tot);
 899                                 ok = false;
 900                         }
 901                 }
 902
 903                 if (mask != 0) {
 904                         CustomDataMask layer_typemask = CD_TYPE_AS_MASK(layer->type);
 905                         if ((layer_typemask & mask) == 0) {
 906                                 PRINT_ERR("\tCustomDataLayer type %d which isn't in the mask\n",
 907                                           layer->type);
 908                                 ok = false;
 909                         }
 910                 }
 911
 912                 if (ok == false) {
 913                         if (do_fixes) {
 914                                 CustomData_free_layer(data, layer->type, 0, i);
 915                                 has_fixes = true;
 916                         }
 917                 }
 918
 919                 if (ok)
 920                         i++;
 921         }
 922
 923         PRINT_MSG("%s: Finished (is_valid=%d)\n\n", __func__, (int)!has_fixes);
 924
 925         *r_change = has_fixes;
 926
 927         return is_valid;
 928 }
 929
 930 /**
 931  * \returns is_valid.
 932  */
 933 bool BKE_mesh_validate_all_customdata(
 934         CustomData *vdata, CustomData *edata,
 935         CustomData *ldata, CustomData *pdata,
 936         const bool check_meshmask,
 937         const bool do_verbose, const bool do_fixes,
 938         bool *r_change)
 939 {
 940         bool is_valid = true;
 941         bool is_change_v, is_change_e, is_change_l, is_change_p;
 942         int tot_texpoly, tot_uvloop, tot_vcolloop;
 943         CustomDataMask mask = check_meshmask ? CD_MASK_MESH : 0;
 944
 945         is_valid &= mesh_validate_customdata(vdata, mask, do_verbose, do_fixes, &is_change_v);
 946         is_valid &= mesh_validate_customdata(edata, mask, do_verbose, do_fixes, &is_change_e);
 947         is_valid &= mesh_validate_customdata(ldata, mask, do_verbose, do_fixes, &is_change_l);
 948         is_valid &= mesh_validate_customdata(pdata, mask, do_verbose, do_fixes, &is_change_p);
 949
 950         tot_texpoly = CustomData_number_of_layers(pdata, CD_MTEXPOLY);
 951         tot_uvloop = CustomData_number_of_layers(ldata, CD_MLOOPUV);
 952         tot_vcolloop = CustomData_number_of_layers(ldata, CD_MLOOPCOL);
 953         if (tot_texpoly != tot_uvloop) {
 954                 PRINT_ERR("\tCustomDataLayer mismatch, tot_texpoly(%d), tot_uvloop(%d)\n",
 955                           tot_texpoly, tot_uvloop);
 956         }
 957         if (tot_texpoly > MAX_MTFACE) {
 958                 PRINT_ERR("\tMore UV layers than %d allowed, %d last ones won't be available for render, shaders, etc.\n",
 959                           MAX_MTFACE, tot_texpoly - MAX_MTFACE);
 960         }
 961         if (tot_uvloop > MAX_MTFACE) {
 962                 PRINT_ERR("\tMore UV layers than %d allowed, %d last ones won't be available for render, shaders, etc.\n",
 963                           MAX_MTFACE, tot_uvloop - MAX_MTFACE);
 964         }
 965         if (tot_vcolloop > MAX_MCOL) {
 966                 PRINT_ERR("\tMore VCol layers than %d allowed, %d last ones won't be available for render, shaders, etc.\n",
 967                           MAX_MCOL, tot_vcolloop - MAX_MCOL);
 968         }
 969
 970         /* check indices of clone/stencil */
 971         if (do_fixes && CustomData_get_clone_layer(pdata, CD_MTEXPOLY) >= tot_texpoly) {
 972                 CustomData_set_layer_clone(pdata, CD_MTEXPOLY, 0);
 973                 is_change_p = true;
 974         }
 975         if (do_fixes && CustomData_get_clone_layer(ldata, CD_MLOOPUV) >= tot_uvloop) {
 976                 CustomData_set_layer_clone(ldata, CD_MLOOPUV, 0);
 977                 is_change_l = true;
 978         }
 979         if (do_fixes && CustomData_get_stencil_layer(pdata, CD_MTEXPOLY) >= tot_texpoly) {
 980                 CustomData_set_layer_stencil(pdata, CD_MTEXPOLY, 0);
 981                 is_change_p = true;
 982         }
 983         if (do_fixes && CustomData_get_stencil_layer(ldata, CD_MLOOPUV) >= tot_uvloop) {
 984                 CustomData_set_layer_stencil(ldata, CD_MLOOPUV, 0);
 985                 is_change_l = true;
 986         }
 987
 988         *r_change = (is_change_v || is_change_e || is_change_l || is_change_p);
 989
 990         return is_valid;
 991 }
 992
 993 /**
 994  * \see  #DM_is_valid to call on derived meshes
 995  *
 996  * \returns true if a change is made.
 997  */
 998 bool BKE_mesh_validate(Mesh *me, const bool do_verbose, const bool cddata_check_mask)
 999 {
1000         bool is_valid = true;
1001         bool changed;
1002
1003         if (do_verbose) {
1004                 printf("MESH: %s\n", me->id.name + 2);
1005         }
1006
1007         is_valid &= BKE_mesh_validate_all_customdata(
1008                 &me->vdata, &me->edata, &me->ldata, &me->pdata,
1009                 cddata_check_mask,
1010                 do_verbose, true,
1011                 &changed);
1012
1013         is_valid &= BKE_mesh_validate_arrays(
1014                 me,
1015                 me->mvert, me->totvert,
1016                 me->medge, me->totedge,
1017                 me->mface, me->totface,
1018                 me->mloop, me->totloop,
1019                 me->mpoly, me->totpoly,
1020                 me->dvert,
1021                 do_verbose, true,
1022                 &changed);
1023
1024         if (changed) {
1025                 DAG_id_tag_update(&me->id, OB_RECALC_DATA);
1026                 return true;
1027         }
1028         else {
1029                 return false;
1030         }
1031 }
1032
1033 /**
1034  * Duplicate of BM_mesh_cd_validate() for Mesh data.
1035  */
1036 void BKE_mesh_cd_validate(Mesh *me)
1037 {
1038         int totlayer_mtex = CustomData_number_of_layers(&me->pdata, CD_MTEXPOLY);
1039         int totlayer_uv = CustomData_number_of_layers(&me->ldata, CD_MLOOPUV);
1040         int totlayer_mcol = CustomData_number_of_layers(&me->ldata, CD_MLOOPCOL);
1041         int mtex_index = CustomData_get_layer_index(&me->pdata, CD_MTEXPOLY);
1042         int uv_index = CustomData_get_layer_index(&me->ldata, CD_MLOOPUV);
1043         int i;
1044
1045         /* XXX For now, do not delete those, just warn they are not really usable. */
1046         if (UNLIKELY(totlayer_mtex > MAX_MTFACE)) {
1047                 printf("WARNING! More UV layers than %d allowed, %d last ones won't be available for render, shaders, etc.\n",
1048                        MAX_MTFACE, totlayer_mtex - MAX_MTFACE);
1049         }
1050         if (UNLIKELY(totlayer_uv > MAX_MTFACE)) {
1051                 printf("WARNING! More UV layers than %d allowed, %d last ones won't be available for render, shaders, etc.\n",
1052                        MAX_MTFACE, totlayer_uv - MAX_MTFACE);
1053         }
1054         if (UNLIKELY(totlayer_mcol > MAX_MCOL)) {
1055                 printf("WARNING! More VCol layers than %d allowed, %d last ones won't be available for render, shaders, etc.\n",
1056                        MAX_MCOL, totlayer_mcol - MAX_MCOL);
1057         }
1058
1059         if (LIKELY(totlayer_mtex == totlayer_uv)) {
1060                 /* pass */
1061         }
1062         else if (totlayer_mtex < totlayer_uv) {
1063                 do {
1064                         const char *from_name =  me->ldata.layers[uv_index + totlayer_mtex].name;
1065                         CustomData_add_layer_named(&me->pdata, CD_MTEXPOLY, CD_DEFAULT, NULL, me->totpoly, from_name);
1066                         CustomData_set_layer_unique_name(&me->pdata, totlayer_mtex);
1067                 } while (totlayer_uv != ++totlayer_mtex);
1068                 mtex_index = CustomData_get_layer_index(&me->pdata, CD_MTEXPOLY);
1069         }
1070         else if (totlayer_uv < totlayer_mtex) {
1071                 do {
1072                         const char *from_name = me->pdata.layers[mtex_index + totlayer_uv].name;
1073                         CustomData_add_layer_named(&me->ldata, CD_MLOOPUV, CD_DEFAULT, NULL, me->totloop, from_name);
1074                         CustomData_set_layer_unique_name(&me->ldata, totlayer_uv);
1075                 } while (totlayer_mtex != ++totlayer_uv);
1076                 uv_index = CustomData_get_layer_index(&me->ldata, CD_MLOOPUV);
1077         }
1078
1079         BLI_assert(totlayer_mtex == totlayer_uv);
1080
1081         /* Check uv/tex names match as well!!! */
1082         for (i = 0; i < totlayer_mtex; i++, mtex_index++, uv_index++) {
1083                 const char *name_src = me->pdata.layers[mtex_index].name;
1084                 const char *name_dst = me->ldata.layers[uv_index].name;
1085                 if (!STREQ(name_src, name_dst)) {
1086                         BKE_mesh_uv_cdlayer_rename_index(me, mtex_index, uv_index, -1, name_src, false);
1087                 }
1088         }
1089 }
1090
1091 /**
1092  * Check all material indices of polygons are valid, invalid ones are set to 0.
1093  * \returns is_valid.
1094  */
1095 bool BKE_mesh_validate_material_indices(Mesh *me)
1096 {
1097         MPoly *mp;
1098         const int max_idx = max_ii(0, me->totcol - 1);
1099         const int totpoly = me->totpoly;
1100         int i;
1101         bool is_valid = true;
1102
1103         for (mp = me->mpoly, i = 0; i < totpoly; i++, mp++) {
1104                 if (mp->mat_nr > max_idx) {
1105                         mp->mat_nr = 0;
1106                         is_valid = false;
1107                 }
1108         }
1109
1110         if (!is_valid) {
1111                 DAG_id_tag_update(&me->id, OB_RECALC_DATA);
1112                 return true;
1113         }
1114         else {
1115                 return false;
1116         }
1117 }
1118
1119 /** \} */
1120
1121
1122 /* -------------------------------------------------------------------- */
1123
1124 /** \name Mesh Stripping (removing invalid data)
1125  * \{ */
1126
1127 /* We need to keep this for edge creation (for now?), and some old readfile code... */
1128 void BKE_mesh_strip_loose_faces(Mesh *me)
1129 {
1130         MFace *f;
1131         int a, b;
1132
1133         for (a = b = 0, f = me->mface; a < me->totface; a++, f++) {
1134                 if (f->v3) {
1135                         if (a != b) {
1136                                 memcpy(&me->mface[b], f, sizeof(me->mface[b]));
1137                                 CustomData_copy_data(&me->fdata, &me->fdata, a, b, 1);
1138                         }
1139                         b++;
1140                 }
1141         }
1142         if (a != b) {
1143                 CustomData_free_elem(&me->fdata, b, a - b);
1144                 me->totface = b;
1145         }
1146 }
1147
1148 /* Works on both loops and polys! */
1149 /* Note: It won't try to guess which loops of an invalid poly to remove!
1150  *       this is the work of the caller, to mark those loops...
1151  *       See e.g. BKE_mesh_validate_arrays(). */
1152 void BKE_mesh_strip_loose_polysloops(Mesh *me)
1153 {
1154         MPoly *p;
1155         MLoop *l;
1156         int a, b;
1157         /* New loops idx! */
1158         int *new_idx = MEM_mallocN(sizeof(int) * me->totloop, __func__);
1159
1160         for (a = b = 0, p = me->mpoly; a < me->totpoly; a++, p++) {
1161                 bool invalid = false;
1162                 int i = p->loopstart;
1163                 int stop = i + p->totloop;
1164
1165                 if (stop > me->totloop || stop < i) {
1166                         invalid = true;
1167                 }
1168                 else {
1169                         l = &me->mloop[i];
1170                         i = stop - i;
1171                         /* If one of the poly's loops is invalid, the whole poly is invalid! */
1172                         for (; i--; l++) {
1173                                 if (l->e == INVALID_LOOP_EDGE_MARKER) {
1174                                         invalid = true;
1175                                         break;
1176                                 }
1177                         }
1178                 }
1179
1180                 if (p->totloop >= 3 && !invalid) {
1181                         if (a != b) {
1182                                 memcpy(&me->mpoly[b], p, sizeof(me->mpoly[b]));
1183                                 CustomData_copy_data(&me->pdata, &me->pdata, a, b, 1);
1184                         }
1185                         b++;
1186                 }
1187         }
1188         if (a != b) {
1189                 CustomData_free_elem(&me->pdata, b, a - b);
1190                 me->totpoly = b;
1191         }
1192
1193         /* And now, get rid of invalid loops. */
1194         for (a = b = 0, l = me->mloop; a < me->totloop; a++, l++) {
1195                 if (l->e != INVALID_LOOP_EDGE_MARKER) {
1196                         if (a != b) {
1197                                 memcpy(&me->mloop[b], l, sizeof(me->mloop[b]));
1198                                 CustomData_copy_data(&me->ldata, &me->ldata, a, b, 1);
1199                         }
1200                         new_idx[a] = b;
1201                         b++;
1202                 }
1203                 else {
1204                         /* XXX Theoretically, we should be able to not do this, as no remaining poly
1205                          *     should use any stripped loop. But for security's sake... */
1206                         new_idx[a] = -a;
1207                 }
1208         }
1209         if (a != b) {
1210                 CustomData_free_elem(&me->ldata, b, a - b);
1211                 me->totloop = b;
1212         }
1213
1214         /* And now, update polys' start loop index. */
1215         /* Note: At this point, there should never be any poly using a striped loop! */
1216         for (a = 0, p = me->mpoly; a < me->totpoly; a++, p++) {
1217                 p->loopstart = new_idx[p->loopstart];
1218         }
1219
1220         MEM_freeN(new_idx);
1221 }
1222
1223 void BKE_mesh_strip_loose_edges(Mesh *me)
1224 {
1225         MEdge *e;
1226         MLoop *l;
1227         int a, b;
1228         unsigned int *new_idx = MEM_mallocN(sizeof(int) * me->totedge, __func__);
1229
1230         for (a = b = 0, e = me->medge; a < me->totedge; a++, e++) {
1231                 if (e->v1 != e->v2) {
1232                         if (a != b) {
1233                                 memcpy(&me->medge[b], e, sizeof(me->medge[b]));
1234                                 CustomData_copy_data(&me->edata, &me->edata, a, b, 1);
1235                         }
1236                         new_idx[a] = b;
1237                         b++;
1238                 }
1239                 else {
1240                         new_idx[a] = INVALID_LOOP_EDGE_MARKER;
1241                 }
1242         }
1243         if (a != b) {
1244                 CustomData_free_elem(&me->edata, b, a - b);
1245                 me->totedge = b;
1246         }
1247
1248         /* And now, update loops' edge indices. */
1249         /* XXX We hope no loop was pointing to a striped edge!
1250          *     Else, its e will be set to INVALID_LOOP_EDGE_MARKER :/ */
1251         for (a = 0, l = me->mloop; a < me->totloop; a++, l++) {
1252                 l->e = new_idx[l->e];
1253         }
1254
1255         MEM_freeN(new_idx);
1256 }
1257 /** \} */
1258
1259
1260
1261 /* -------------------------------------------------------------------- */
1262
1263 /** \name Mesh Edge Calculation
1264  * \{ */
1265
1266 /* make edges in a Mesh, for outside of editmode */
1267
1268 struct EdgeSort {
1269         unsigned int v1, v2;
1270         char is_loose, is_draw;
1271 };
1272
1273 /* edges have to be added with lowest index first for sorting */
1274 static void to_edgesort(
1275         struct EdgeSort *ed,
1276         unsigned int v1, unsigned int v2,
1277         char is_loose, short is_draw)
1278 {
1279         if (v1 < v2) {
1280                 ed->v1 = v1; ed->v2 = v2;
1281         }
1282         else {
1283                 ed->v1 = v2; ed->v2 = v1;
1284         }
1285         ed->is_loose = is_loose;
1286         ed->is_draw = is_draw;
1287 }
1288
1289 static int vergedgesort(const void *v1, const void *v2)
1290 {
1291         const struct EdgeSort *x1 = v1, *x2 = v2;
1292
1293         if (x1->v1 > x2->v1) return 1;
1294         else if (x1->v1 < x2->v1) return -1;
1295         else if (x1->v2 > x2->v2) return 1;
1296         else if (x1->v2 < x2->v2) return -1;
1297
1298         return 0;
1299 }
1300
1301
1302 /* Create edges based on known verts and faces,
1303  * this function is only used when loading very old blend files */
1304
1305 static void mesh_calc_edges_mdata(
1306         MVert *UNUSED(allvert), MFace *allface, MLoop *allloop,
1307         MPoly *allpoly, int UNUSED(totvert), int totface, int UNUSED(totloop), int totpoly,
1308         const bool use_old,
1309         MEdge **r_medge, int *r_totedge)
1310 {
1311         MPoly *mpoly;
1312         MFace *mface;
1313         MEdge *medge, *med;
1314         EdgeHash *hash;
1315         struct EdgeSort *edsort, *ed;
1316         int a, totedge = 0;
1317         unsigned int totedge_final = 0;
1318         unsigned int edge_index;
1319
1320         /* we put all edges in array, sort them, and detect doubles that way */
1321
1322         for (a = totface, mface = allface; a > 0; a--, mface++) {
1323                 if (mface->v4) totedge += 4;
1324                 else if (mface->v3) totedge += 3;
1325                 else totedge += 1;
1326         }
1327
1328         if (totedge == 0) {
1329                 /* flag that mesh has edges */
1330                 (*r_medge) = MEM_callocN(0, __func__);
1331                 (*r_totedge) = 0;
1332                 return;
1333         }
1334
1335         ed = edsort = MEM_mallocN(totedge * sizeof(struct EdgeSort), "EdgeSort");
1336
1337         for (a = totface, mface = allface; a > 0; a--, mface++) {
1338                 to_edgesort(ed++, mface->v1, mface->v2, !mface->v3, mface->edcode & ME_V1V2);
1339                 if (mface->v4) {
1340                         to_edgesort(ed++, mface->v2, mface->v3, 0, mface->edcode & ME_V2V3);
1341                         to_edgesort(ed++, mface->v3, mface->v4, 0, mface->edcode & ME_V3V4);
1342                         to_edgesort(ed++, mface->v4, mface->v1, 0, mface->edcode & ME_V4V1);
1343                 }
1344                 else if (mface->v3) {
1345                         to_edgesort(ed++, mface->v2, mface->v3, 0, mface->edcode & ME_V2V3);
1346                         to_edgesort(ed++, mface->v3, mface->v1, 0, mface->edcode & ME_V3V1);
1347                 }
1348         }
1349
1350         qsort(edsort, totedge, sizeof(struct EdgeSort), vergedgesort);
1351
1352         /* count final amount */
1353         for (a = totedge, ed = edsort; a > 1; a--, ed++) {
1354                 /* edge is unique when it differs from next edge, or is last */
1355                 if (ed->v1 != (ed + 1)->v1 || ed->v2 != (ed + 1)->v2) totedge_final++;
1356         }
1357         totedge_final++;
1358
1359         medge = MEM_callocN(sizeof(MEdge) * totedge_final, __func__);
1360
1361         for (a = totedge, med = medge, ed = edsort; a > 1; a--, ed++) {
1362                 /* edge is unique when it differs from next edge, or is last */
1363                 if (ed->v1 != (ed + 1)->v1 || ed->v2 != (ed + 1)->v2) {
1364                         med->v1 = ed->v1;
1365                         med->v2 = ed->v2;
1366                         if (use_old == false || ed->is_draw) med->flag = ME_EDGEDRAW | ME_EDGERENDER;
1367                         if (ed->is_loose) med->flag |= ME_LOOSEEDGE;
1368
1369                         /* order is swapped so extruding this edge as a surface wont flip face normals
1370                          * with cyclic curves */
1371                         if (ed->v1 + 1 != ed->v2) {
1372                                 SWAP(unsigned int, med->v1, med->v2);
1373                         }
1374                         med++;
1375                 }
1376                 else {
1377                         /* equal edge, we merge the drawflag */
1378                         (ed + 1)->is_draw |= ed->is_draw;
1379                 }
1380         }
1381         /* last edge */
1382         med->v1 = ed->v1;
1383         med->v2 = ed->v2;
1384         med->flag = ME_EDGEDRAW;
1385         if (ed->is_loose) med->flag |= ME_LOOSEEDGE;
1386         med->flag |= ME_EDGERENDER;
1387
1388         MEM_freeN(edsort);
1389
1390         /* set edge members of mloops */
1391         hash = BLI_edgehash_new_ex(__func__, totedge_final);
1392         for (edge_index = 0, med = medge; edge_index < totedge_final; edge_index++, med++) {
1393                 BLI_edgehash_insert(hash, med->v1, med->v2, POINTER_FROM_UINT(edge_index));
1394         }
1395
1396         mpoly = allpoly;
1397         for (a = 0; a < totpoly; a++, mpoly++) {
1398                 MLoop *ml, *ml_next;
1399                 int i = mpoly->totloop;
1400
1401                 ml_next = allloop + mpoly->loopstart;  /* first loop */
1402                 ml = &ml_next[i - 1];                  /* last loop */
1403
1404                 while (i-- != 0) {
1405                         ml->e = POINTER_AS_UINT(BLI_edgehash_lookup(hash, ml->v, ml_next->v));
1406                         ml = ml_next;
1407                         ml_next++;
1408                 }
1409         }
1410
1411         BLI_edgehash_free(hash, NULL);
1412
1413         *r_medge = medge;
1414         *r_totedge = totedge_final;
1415 }
1416
1417 /**
1418  * If the mesh is from a very old blender version,
1419  * convert mface->edcode to edge drawflags
1420  */
1421 void BKE_mesh_calc_edges_legacy(Mesh *me, const bool use_old)
1422 {
1423         MEdge *medge;
1424         int totedge = 0;
1425
1426         mesh_calc_edges_mdata(
1427                 me->mvert, me->mface, me->mloop, me->mpoly,
1428                 me->totvert, me->totface, me->totloop, me->totpoly,
1429                 use_old, &medge, &totedge);
1430
1431         if (totedge == 0) {
1432                 /* flag that mesh has edges */
1433                 me->medge = medge;
1434                 me->totedge = 0;
1435                 return;
1436         }
1437
1438         medge = CustomData_add_layer(&me->edata, CD_MEDGE, CD_ASSIGN, medge, totedge);
1439         me->medge = medge;
1440         me->totedge = totedge;
1441
1442         BKE_mesh_strip_loose_faces(me);
1443 }
1444
1445
1446 /**
1447  * Calculate edges from polygons
1448  *
1449  * \param mesh: The mesh to add edges into
1450  * \param update: When true create new edges co-exist
1451  */
1452 void BKE_mesh_calc_edges(Mesh *mesh, bool update, const bool select)
1453 {
1454         CustomData edata;
1455         EdgeHashIterator *ehi;
1456         MPoly *mp;
1457         MEdge *med, *med_orig;
1458         EdgeHash *eh;
1459         unsigned int eh_reserve;
1460         int i, totedge, totpoly = mesh->totpoly;
1461         int med_index;
1462         /* select for newly created meshes which are selected [#25595] */
1463         const short ed_flag = (ME_EDGEDRAW | ME_EDGERENDER) | (select ? SELECT : 0);
1464
1465         if (mesh->totedge == 0)
1466                 update = false;
1467
1468         eh_reserve = max_ii(update ? mesh->totedge : 0, BLI_EDGEHASH_SIZE_GUESS_FROM_POLYS(totpoly));
1469         eh = BLI_edgehash_new_ex(__func__, eh_reserve);
1470
1471         if (update) {
1472                 /* assume existing edges are valid
1473                  * useful when adding more faces and generating edges from them */
1474                 med = mesh->medge;
1475                 for (i = 0; i < mesh->totedge; i++, med++)
1476                         BLI_edgehash_insert(eh, med->v1, med->v2, med);
1477         }
1478
1479         /* mesh loops (bmesh only) */
1480         for (mp = mesh->mpoly, i = 0; i < totpoly; mp++, i++) {
1481                 MLoop *l = &mesh->mloop[mp->loopstart];
1482                 int j, v_prev = (l + (mp->totloop - 1))->v;
1483                 for (j = 0; j < mp->totloop; j++, l++) {
1484                         if (v_prev != l->v) {
1485                                 void **val_p;
1486                                 if (!BLI_edgehash_ensure_p(eh, v_prev, l->v, &val_p)) {
1487                                         *val_p = NULL;
1488                                 }
1489                         }
1490                         v_prev = l->v;
1491                 }
1492         }
1493
1494         totedge = BLI_edgehash_len(eh);
1495
1496         /* write new edges into a temporary CustomData */
1497         CustomData_reset(&edata);
1498         CustomData_add_layer(&edata, CD_MEDGE, CD_CALLOC, NULL, totedge);
1499
1500         med = CustomData_get_layer(&edata, CD_MEDGE);
1501         for (ehi = BLI_edgehashIterator_new(eh), i = 0;
1502              BLI_edgehashIterator_isDone(ehi) == false;
1503              BLI_edgehashIterator_step(ehi), ++i, ++med)
1504         {
1505                 if (update && (med_orig = BLI_edgehashIterator_getValue(ehi))) {
1506                         *med = *med_orig; /* copy from the original */
1507                 }
1508                 else {
1509                         BLI_edgehashIterator_getKey(ehi, &med->v1, &med->v2);
1510                         med->flag = ed_flag;
1511                 }
1512
1513                 /* store the new edge index in the hash value */
1514                 BLI_edgehashIterator_setValue(ehi, POINTER_FROM_INT(i));
1515         }
1516         BLI_edgehashIterator_free(ehi);
1517
1518         if (mesh->totpoly) {
1519                 /* second pass, iterate through all loops again and assign
1520                  * the newly created edges to them. */
1521                 for (mp = mesh->mpoly, i = 0; i < mesh->totpoly; mp++, i++) {
1522                         MLoop *l = &mesh->mloop[mp->loopstart];
1523                         MLoop *l_prev = (l + (mp->totloop - 1));
1524                         int j;
1525                         for (j = 0; j < mp->totloop; j++, l++) {
1526                                 /* lookup hashed edge index */
1527                                 med_index = POINTER_AS_INT(BLI_edgehash_lookup(eh, l_prev->v, l->v));
1528                                 l_prev->e = med_index;
1529                                 l_prev = l;
1530                         }
1531                 }
1532         }
1533
1534         /* free old CustomData and assign new one */
1535         CustomData_free(&mesh->edata, mesh->totedge);
1536         mesh->edata = edata;
1537         mesh->totedge = totedge;
1538
1539         mesh->medge = CustomData_get_layer(&mesh->edata, CD_MEDGE);
1540
1541         BLI_edgehash_free(eh, NULL);
1542 }
1543 /** \} */