Fix bad pointer cast when modifier is used on non-mesh object
authorSybren A. Stüvel <sybren@stuvel.eu>
Wed, 9 May 2018 15:37:54 +0000 (17:37 +0200)
committerSybren A. Stüvel <sybren@stuvel.eu>
Fri, 11 May 2018 08:14:35 +0000 (10:14 +0200)
source/blender/modifiers/intern/MOD_armature.c
source/blender/modifiers/intern/MOD_cast.c
source/blender/modifiers/intern/MOD_curve.c
source/blender/modifiers/intern/MOD_displace.c
source/blender/modifiers/intern/MOD_hook.c
source/blender/modifiers/intern/MOD_lattice.c
source/blender/modifiers/intern/MOD_simpledeform.c
source/blender/modifiers/intern/MOD_util.c

index fc077a4ca619dc09736162a781e549584ecbdbb5..26fe2ff2e4c0b7867a5d26450e3be30bc1eb0b2d 100644 (file)
@@ -135,11 +135,7 @@ static void deformVertsEM(
         Mesh *mesh, float (*vertexCos)[3], int numVerts)
 {
        ArmatureModifierData *amd = (ArmatureModifierData *) md;
-       Mesh *mesh_src = mesh;
-
-       if (!mesh) {
-               mesh_src = BKE_bmesh_to_mesh_nomain(em->bm, &(struct BMeshToMeshParams){0});
-       }
+       Mesh *mesh_src = get_mesh(ctx->object, em, mesh, NULL, false, false);
 
        modifier_vgroup_cache(md, vertexCos); /* if next modifier needs original vertices */
 
@@ -152,7 +148,7 @@ static void deformVertsEM(
                amd->prevCos = NULL;
        }
 
-       if (!mesh) {
+       if (mesh_src != mesh) {
                BKE_id_free(NULL, mesh_src);
        }
 }
@@ -163,16 +159,12 @@ static void deformMatricesEM(
         float (*defMats)[3][3], int numVerts)
 {
        ArmatureModifierData *amd = (ArmatureModifierData *) md;
-       Mesh *mesh_src = mesh;
-
-       if (!mesh) {
-               mesh_src = BKE_bmesh_to_mesh_nomain(em->bm, &(struct BMeshToMeshParams){0});
-       }
+       Mesh *mesh_src = get_mesh(ctx->object, em, mesh, NULL, false, false);
 
        armature_deform_verts(amd->object, ctx->object, mesh_src, vertexCos, defMats, numVerts,
                              amd->deformflag, NULL, amd->defgrp_name);
 
-       if (!mesh) {
+       if (mesh_src != mesh) {
                BKE_id_free(NULL, mesh_src);
        }
 }
@@ -181,10 +173,14 @@ static void deformMatrices(ModifierData *md, const ModifierEvalContext *ctx, Mes
                            float (*vertexCos)[3], float (*defMats)[3][3], int numVerts)
 {
        ArmatureModifierData *amd = (ArmatureModifierData *) md;
-       Mesh *mesh_src = mesh ? mesh : ctx->object->data;
+       Mesh *mesh_src = get_mesh(ctx->object, NULL, mesh, NULL, false, false);
 
        armature_deform_verts(amd->object, ctx->object, mesh_src, vertexCos, defMats, numVerts,
                              amd->deformflag, NULL, amd->defgrp_name);
+
+       if (mesh_src != mesh) {
+               BKE_id_free(NULL, mesh_src);
+       }
 }
 
 ModifierTypeInfo modifierType_Armature = {
index a2283fd66e965785aecb220d86fb9e72cf2f5c22..2eee77c4dd7eeef893c2d8cdef3f3d9e79848d4c 100644 (file)
@@ -428,12 +428,7 @@ static void deformVerts(ModifierData *md, const ModifierEvalContext *ctx,
                         int numVerts)
 {
        CastModifierData *cmd = (CastModifierData *)md;
-
-       Mesh *mesh_src = mesh;
-
-       if (mesh_src == NULL) {
-               mesh_src = ctx->object->data;
-       }
+       Mesh *mesh_src = get_mesh(ctx->object, NULL, mesh, NULL, false, false);
 
        BLI_assert(mesh_src->totvert == numVerts);
 
@@ -443,6 +438,10 @@ static void deformVerts(ModifierData *md, const ModifierEvalContext *ctx,
        else { /* MOD_CAST_TYPE_SPHERE or MOD_CAST_TYPE_CYLINDER */
                sphere_do(cmd, ctx->object, mesh_src, vertexCos, numVerts);
        }
+
+       if (mesh_src != mesh) {
+               BKE_id_free(NULL, mesh_src);
+       }
 }
 
 static void deformVertsEM(
@@ -451,12 +450,7 @@ static void deformVertsEM(
         Mesh *mesh, float (*vertexCos)[3], int numVerts)
 {
        CastModifierData *cmd = (CastModifierData *)md;
-
-       Mesh *mesh_src = mesh;
-
-       if (mesh_src == NULL) {
-               mesh_src = BKE_bmesh_to_mesh_nomain(editData->bm, &(struct BMeshToMeshParams){0});
-       }
+       Mesh *mesh_src = get_mesh(ctx->object, editData, mesh, NULL, false, false);
 
        BLI_assert(mesh_src->totvert == numVerts);
 
@@ -467,7 +461,7 @@ static void deformVertsEM(
                sphere_do(cmd, ctx->object, mesh_src, vertexCos, numVerts);
        }
 
-       if (!mesh) {
+       if (mesh_src != mesh) {
                BKE_id_free(NULL, mesh_src);
        }
 }
index 805d27de2736549eab21cf4640ae7d6bcde5b438..deda8213a65aa2af9adce8e74130d84b46b94e77 100644 (file)
@@ -51,6 +51,7 @@
 #include "DEG_depsgraph_build.h"
 
 #include "MOD_modifiertypes.h"
+#include "MOD_util.h"
 
 static void initData(ModifierData *md)
 {
@@ -112,18 +113,17 @@ static void deformVerts(
         int numVerts)
 {
        CurveModifierData *cmd = (CurveModifierData *) md;
-
-       Mesh *mesh_src = mesh;
-
-       if (mesh_src == NULL) {
-               mesh_src = ctx->object->data;
-       }
+       Mesh *mesh_src = get_mesh(ctx->object, NULL, mesh, NULL, false, false);
 
        BLI_assert(mesh_src->totvert == numVerts);
 
        /* silly that defaxis and curve_deform_verts are off by 1
         * but leave for now to save having to call do_versions */
        curve_deform_verts(cmd->object, ctx->object, mesh_src, vertexCos, numVerts, cmd->name, cmd->defaxis - 1);
+
+       if (mesh_src != mesh) {
+               BKE_id_free(NULL, mesh_src);
+       }
 }
 
 static void deformVertsEM(
@@ -134,17 +134,13 @@ static void deformVertsEM(
         float (*vertexCos)[3],
         int numVerts)
 {
-       Mesh *mesh_src = mesh;
-
-       if (mesh_src == NULL) {
-               mesh_src = BKE_bmesh_to_mesh_nomain(em->bm, &(struct BMeshToMeshParams){0});
-       }
+       Mesh *mesh_src = get_mesh(ctx->object, em, mesh, NULL, false, false);
 
        BLI_assert(mesh_src->totvert == numVerts);
 
        deformVerts(md, ctx, mesh_src, vertexCos, numVerts);
 
-       if (!mesh) {
+       if (mesh_src != mesh) {
                BKE_id_free(NULL, mesh_src);
        }
 }
index c28bb41647fb3c3af6bfbcbecc9a604766e104e0..853787245a436a0d981a9ed3d0d81f679b32b3fb 100644 (file)
@@ -367,33 +367,29 @@ static void deformVerts(
         float (*vertexCos)[3],
         int numVerts)
 {
-       Mesh *mesh_src = mesh;
-
-       if (mesh_src == NULL) {
-               mesh_src = ctx->object->data;
-       }
+       Mesh *mesh_src = get_mesh(ctx->object, NULL, mesh, NULL, false, false);
 
        BLI_assert(mesh_src->totvert == numVerts);
 
        displaceModifier_do((DisplaceModifierData *)md, ctx->object, mesh_src,
                            vertexCos, numVerts);
+
+       if (mesh_src != mesh) {
+               BKE_id_free(NULL, mesh_src);
+       }
 }
 
 static void deformVertsEM(
         ModifierData *md, const ModifierEvalContext *ctx, struct BMEditMesh *editData,
         Mesh *mesh, float (*vertexCos)[3], int numVerts)
 {
-       Mesh *mesh_src = mesh;
-
-       if (mesh_src == NULL) {
-               mesh_src = BKE_bmesh_to_mesh_nomain(editData->bm, &(struct BMeshToMeshParams){0});
-       }
+       Mesh *mesh_src = get_mesh(ctx->object, editData, mesh, NULL, false, false);
 
        BLI_assert(mesh_src->totvert == numVerts);
 
        displaceModifier_do((DisplaceModifierData *)md, ctx->object, mesh_src, vertexCos, numVerts);
 
-       if (!mesh) {
+       if (mesh_src != mesh) {
                BKE_id_free(NULL, mesh_src);
        }
 }
index 572254bbbf64184c6b66b5ac22a8cfecd9ea1034..0a2510ba2be6d2890242ff67e5d454a30917768a 100644 (file)
@@ -352,9 +352,13 @@ static void deformVerts(struct ModifierData *md, const struct ModifierEvalContex
                         float (*vertexCos)[3], int numVerts)
 {
        HookModifierData *hmd = (HookModifierData *)md;
-       Mesh *mesh_src = mesh ? mesh : ctx->object->data;
+       Mesh *mesh_src = get_mesh(ctx->object, NULL, mesh, NULL, false, false);
 
        deformVerts_do(hmd, ctx->object, mesh_src, vertexCos, numVerts);
+
+       if (mesh_src != mesh) {
+               BKE_id_free(NULL, mesh_src);
+       }
 }
 
 static void deformVertsEM(struct ModifierData *md, const struct ModifierEvalContext *ctx,
@@ -362,10 +366,7 @@ static void deformVertsEM(struct ModifierData *md, const struct ModifierEvalCont
                           struct Mesh *mesh, float (*vertexCos)[3], int numVerts)
 {
        HookModifierData *hmd = (HookModifierData *)md;
-       Mesh *mesh_src = mesh;
-       if (!mesh) {
-               mesh_src = BKE_bmesh_to_mesh_nomain(editData->bm, &(struct BMeshToMeshParams){0});
-       }
+       Mesh *mesh_src = get_mesh(ctx->object, editData, mesh, NULL, false, false);
 
        deformVerts_do(hmd, ctx->object, mesh_src, vertexCos, numVerts);
 
index 548480acdd8db1537b3121e1cf300202100297b6..9487841af95856f923da71abc41f0446b6cb8c72 100644 (file)
@@ -99,27 +99,26 @@ static void deformVerts(ModifierData *md, const ModifierEvalContext *ctx,
                         int numVerts)
 {
        LatticeModifierData *lmd = (LatticeModifierData *) md;
-       struct Mesh *mesh_src = mesh ? mesh : ctx->object->data;
+       struct Mesh *mesh_src = get_mesh(ctx->object, NULL, mesh, NULL, false, false);
 
        modifier_vgroup_cache(md, vertexCos); /* if next modifier needs original vertices */
 
        lattice_deform_verts(lmd->object, ctx->object, mesh_src,
                             vertexCos, numVerts, lmd->name, lmd->strength);
-}
+
+       if (mesh_src != mesh) {
+               BKE_id_free(NULL, mesh_src);
+       }}
 
 static void deformVertsEM(
         ModifierData *md, const ModifierEvalContext *ctx, struct BMEditMesh *em,
         struct Mesh *mesh, float (*vertexCos)[3], int numVerts)
 {
-       struct Mesh *mesh_src = mesh;
-
-       if (!mesh) {
-               mesh_src = BKE_bmesh_to_mesh_nomain(em->bm, &(struct BMeshToMeshParams){0});
-       }
+       struct Mesh *mesh_src = get_mesh(ctx->object, em, mesh, NULL, false, false);
 
        deformVerts(md, ctx, mesh_src, vertexCos, numVerts);
 
-       if (!mesh) {
+       if (mesh_src != mesh) {
                BKE_id_free(NULL, mesh_src);
        }
 }
index 4e9b5b208718a7d0586021145c0da9a8e1a2d58c..f054c89ea90b158fa13dab3f4d7f9ee8fc084ccb 100644 (file)
@@ -42,6 +42,7 @@
 #include "BKE_cdderivedmesh.h"
 #include "BKE_editmesh.h"
 #include "BKE_mesh.h"
+#include "BKE_library.h"
 #include "BKE_library_query.h"
 #include "BKE_modifier.h"
 #include "BKE_deform.h"
@@ -383,8 +384,13 @@ static void deformVerts(ModifierData *md, const ModifierEvalContext *ctx,
                         float (*vertexCos)[3],
                         int numVerts)
 {
-       Mesh *mesh_src = mesh ? mesh : ctx->object->data;
+       Mesh *mesh_src = get_mesh(ctx->object, NULL, mesh, NULL, false, false);
+
        SimpleDeformModifier_do((SimpleDeformModifierData *)md, ctx->object, mesh_src, vertexCos, numVerts);
+
+       if (mesh_src != mesh) {
+               BKE_id_free(NULL, mesh_src);
+       }
 }
 
 static void deformVertsEM(ModifierData *md, const ModifierEvalContext *ctx,
@@ -393,11 +399,13 @@ static void deformVertsEM(ModifierData *md, const ModifierEvalContext *ctx,
                           float (*vertexCos)[3],
                           int numVerts)
 {
-       Mesh *mesh_src = mesh;
-       if (!mesh) {
-               mesh_src = BKE_bmesh_to_mesh_nomain(editData->bm, &(struct BMeshToMeshParams){0});
-       }
+       Mesh *mesh_src = get_mesh(ctx->object, editData, mesh, NULL, false, false);
+
        SimpleDeformModifier_do((SimpleDeformModifierData *)md, ctx->object, mesh_src, vertexCos, numVerts);
+
+       if (mesh_src != mesh) {
+               BKE_id_free(NULL, mesh_src);
+       }
 }
 
 
index 95d75174b0ca82c494f7bf1e7c7f5d306d0155fe..818c13b4e44df0bd6919623ad2187c8efabdd04d 100644 (file)
@@ -300,6 +300,8 @@ Mesh *get_mesh(Object *ob, struct BMEditMesh *em, Mesh *mesh,
                struct BMeshToMeshParams bmtmp = {0};
                if (em) mesh = BKE_bmesh_to_mesh_nomain(em->bm, &bmtmp);
                else {
+                       /* TODO(sybren): after modifier conversion of DM to Mesh is done, check whether
+                        * we really need a copy here. Maybe the CoW ob->data can be directly used. */
                        BKE_id_copy_ex(
                                NULL, ob->data, (ID **)&mesh,
                                LIB_ID_CREATE_NO_MAIN |
@@ -308,6 +310,8 @@ Mesh *get_mesh(Object *ob, struct BMEditMesh *em, Mesh *mesh,
                                false);
                }
 
+               /* TODO(sybren): after modifier conversion of DM to Mesh is done, check whether
+                * we really need vertexCos here. */
                if (vertexCos) {
                        BKE_mesh_apply_vert_coords(mesh, vertexCos);
                        mesh->runtime.cd_dirty_vert |= CD_MASK_NORMAL;