Sculpt: Pose Brush Scale/Transform deform mode
[blender.git] / source / blender / blenkernel / BKE_paint.h
1 /*
2  * This program is free software; you can redistribute it and/or
3  * modify it under the terms of the GNU General Public License
4  * as published by the Free Software Foundation; either version 2
5  * of the License, or (at your option) any later version.
6  *
7  * This program is distributed in the hope that it will be useful,
8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
10  * GNU General Public License for more details.
11  *
12  * You should have received a copy of the GNU General Public License
13  * along with this program; if not, write to the Free Software Foundation,
14  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
15  *
16  * The Original Code is Copyright (C) 2009 by Nicholas Bishop
17  * All rights reserved.
18  */
19
20 #ifndef __BKE_PAINT_H__
21 #define __BKE_PAINT_H__
22
23 /** \file
24  * \ingroup bke
25  */
26
27 #include "BLI_utildefines.h"
28 #include "DNA_object_enums.h"
29
30 #ifdef __cplusplus
31 extern "C" {
32 #endif
33
34 struct BMFace;
35 struct BMesh;
36 struct Brush;
37 struct CurveMapping;
38 struct Depsgraph;
39 struct EnumPropertyItem;
40 struct GHash;
41 struct GridPaintMask;
42 struct ImagePool;
43 struct MLoop;
44 struct MLoopTri;
45 struct MVert;
46 struct Main;
47 struct Mesh;
48 struct MeshElemMap;
49 struct Object;
50 struct PBVH;
51 struct Paint;
52 struct PaintCurve;
53 struct Palette;
54 struct PaletteColor;
55 struct ReportList;
56 struct Scene;
57 struct StrokeCache;
58 struct SubdivCCG;
59 struct SubdivCCG;
60 struct Tex;
61 struct ToolSettings;
62 struct UnifiedPaintSettings;
63 struct View3D;
64 struct ViewLayer;
65 struct bContext;
66 struct bToolRef;
67 struct tPaletteColorHSV;
68
69 enum eOverlayFlags;
70
71 extern const char PAINT_CURSOR_SCULPT[3];
72 extern const char PAINT_CURSOR_VERTEX_PAINT[3];
73 extern const char PAINT_CURSOR_WEIGHT_PAINT[3];
74 extern const char PAINT_CURSOR_TEXTURE_PAINT[3];
75
76 typedef enum ePaintMode {
77   PAINT_MODE_SCULPT = 0,
78   /** Vertex color. */
79   PAINT_MODE_VERTEX = 1,
80   PAINT_MODE_WEIGHT = 2,
81   /** 3D view (projection painting). */
82   PAINT_MODE_TEXTURE_3D = 3,
83   /** Image space (2D painting). */
84   PAINT_MODE_TEXTURE_2D = 4,
85   PAINT_MODE_SCULPT_UV = 5,
86   PAINT_MODE_GPENCIL = 6,
87   /* Grease Pencil Vertex Paint */
88   PAINT_MODE_VERTEX_GPENCIL = 7,
89   PAINT_MODE_SCULPT_GPENCIL = 8,
90   PAINT_MODE_WEIGHT_GPENCIL = 9,
91
92   /** Keep last. */
93   PAINT_MODE_INVALID = 10,
94 } ePaintMode;
95
96 #define PAINT_MODE_HAS_BRUSH(mode) !ELEM(mode, PAINT_MODE_SCULPT_UV)
97
98 /* overlay invalidation */
99 typedef enum ePaintOverlayControlFlags {
100   PAINT_OVERLAY_INVALID_TEXTURE_PRIMARY = 1,
101   PAINT_OVERLAY_INVALID_TEXTURE_SECONDARY = (1 << 2),
102   PAINT_OVERLAY_INVALID_CURVE = (1 << 3),
103   PAINT_OVERLAY_OVERRIDE_CURSOR = (1 << 4),
104   PAINT_OVERLAY_OVERRIDE_PRIMARY = (1 << 5),
105   PAINT_OVERLAY_OVERRIDE_SECONDARY = (1 << 6),
106 } ePaintOverlayControlFlags;
107
108 #define PAINT_OVERRIDE_MASK \
109   (PAINT_OVERLAY_OVERRIDE_SECONDARY | PAINT_OVERLAY_OVERRIDE_PRIMARY | \
110    PAINT_OVERLAY_OVERRIDE_CURSOR)
111
112 /* Defines 8 areas resulting of splitting the object space by the XYZ axis planes. This is used to
113  * flip or mirror transform values depending on where the vertex is and where the transform
114  * operation started to support XYZ symmetry on those operations in a predictable way. */
115
116 #define PAINT_SYMM_AREA_DEFAULT 0
117
118 typedef enum ePaintSymmetryAreas {
119   PAINT_SYMM_AREA_X = (1 << 0),
120   PAINT_SYMM_AREA_Y = (1 << 1),
121   PAINT_SYMM_AREA_Z = (1 << 2),
122 } ePaintSymmetryAreas;
123
124 #define PAINT_SYMM_AREAS 8
125
126 void BKE_paint_invalidate_overlay_tex(struct Scene *scene,
127                                       struct ViewLayer *view_layer,
128                                       const struct Tex *tex);
129 void BKE_paint_invalidate_cursor_overlay(struct Scene *scene,
130                                          struct ViewLayer *view_layer,
131                                          struct CurveMapping *curve);
132 void BKE_paint_invalidate_overlay_all(void);
133 ePaintOverlayControlFlags BKE_paint_get_overlay_flags(void);
134 void BKE_paint_reset_overlay_invalid(ePaintOverlayControlFlags flag);
135 void BKE_paint_set_overlay_override(enum eOverlayFlags flag);
136
137 /* palettes */
138 struct Palette *BKE_palette_add(struct Main *bmain, const char *name);
139 struct Palette *BKE_palette_copy(struct Main *bmain, const struct Palette *palette);
140 struct PaletteColor *BKE_palette_color_add(struct Palette *palette);
141 bool BKE_palette_is_empty(const struct Palette *palette);
142 void BKE_palette_color_remove(struct Palette *palette, struct PaletteColor *color);
143 void BKE_palette_clear(struct Palette *palette);
144
145 void BKE_palette_sort_hsv(struct tPaletteColorHSV *color_array, const int totcol);
146 void BKE_palette_sort_svh(struct tPaletteColorHSV *color_array, const int totcol);
147 void BKE_palette_sort_vhs(struct tPaletteColorHSV *color_array, const int totcol);
148 void BKE_palette_sort_luminance(struct tPaletteColorHSV *color_array, const int totcol);
149 bool BKE_palette_from_hash(struct Main *bmain,
150                            struct GHash *color_table,
151                            const char *name,
152                            const bool linear);
153
154 /* paint curves */
155 struct PaintCurve *BKE_paint_curve_add(struct Main *bmain, const char *name);
156 struct PaintCurve *BKE_paint_curve_copy(struct Main *bmain, const struct PaintCurve *pc);
157
158 bool BKE_paint_ensure(struct ToolSettings *ts, struct Paint **r_paint);
159 void BKE_paint_init(struct Main *bmain, struct Scene *sce, ePaintMode mode, const char col[3]);
160 void BKE_paint_free(struct Paint *p);
161 void BKE_paint_copy(struct Paint *src, struct Paint *tar, const int flag);
162
163 void BKE_paint_runtime_init(const struct ToolSettings *ts, struct Paint *paint);
164
165 void BKE_paint_cavity_curve_preset(struct Paint *p, int preset);
166
167 eObjectMode BKE_paint_object_mode_from_paintmode(ePaintMode mode);
168 bool BKE_paint_ensure_from_paintmode(struct Scene *sce, ePaintMode mode);
169 struct Paint *BKE_paint_get_active_from_paintmode(struct Scene *sce, ePaintMode mode);
170 const struct EnumPropertyItem *BKE_paint_get_tool_enum_from_paintmode(ePaintMode mode);
171 const char *BKE_paint_get_tool_prop_id_from_paintmode(ePaintMode mode);
172 uint BKE_paint_get_brush_tool_offset_from_paintmode(const ePaintMode mode);
173 struct Paint *BKE_paint_get_active(struct Scene *sce, struct ViewLayer *view_layer);
174 struct Paint *BKE_paint_get_active_from_context(const struct bContext *C);
175 ePaintMode BKE_paintmode_get_active_from_context(const struct bContext *C);
176 ePaintMode BKE_paintmode_get_from_tool(const struct bToolRef *tref);
177 struct Brush *BKE_paint_brush(struct Paint *paint);
178 void BKE_paint_brush_set(struct Paint *paint, struct Brush *br);
179 struct Palette *BKE_paint_palette(struct Paint *paint);
180 void BKE_paint_palette_set(struct Paint *p, struct Palette *palette);
181 void BKE_paint_curve_set(struct Brush *br, struct PaintCurve *pc);
182 void BKE_paint_curve_clamp_endpoint_add_index(struct PaintCurve *pc, const int add_index);
183
184 void BKE_paint_data_warning(
185     struct ReportList *reports, bool uvs, bool mat, bool tex, bool stencil);
186 bool BKE_paint_proj_mesh_data_check(
187     struct Scene *scene, struct Object *ob, bool *uvs, bool *mat, bool *tex, bool *stencil);
188
189 /* testing face select mode
190  * Texture paint could be removed since selected faces are not used
191  * however hiding faces is useful */
192 bool BKE_paint_select_face_test(struct Object *ob);
193 bool BKE_paint_select_vert_test(struct Object *ob);
194 bool BKE_paint_select_elem_test(struct Object *ob);
195
196 /* partial visibility */
197 bool paint_is_face_hidden(const struct MLoopTri *lt,
198                           const struct MVert *mvert,
199                           const struct MLoop *mloop);
200 bool paint_is_grid_face_hidden(const unsigned int *grid_hidden, int gridsize, int x, int y);
201 bool paint_is_bmesh_face_hidden(struct BMFace *f);
202
203 /* paint masks */
204 float paint_grid_paint_mask(const struct GridPaintMask *gpm, uint level, uint x, uint y);
205
206 /* stroke related */
207 bool paint_calculate_rake_rotation(struct UnifiedPaintSettings *ups,
208                                    struct Brush *brush,
209                                    const float mouse_pos[2]);
210 void paint_update_brush_rake_rotation(struct UnifiedPaintSettings *ups,
211                                       struct Brush *brush,
212                                       float rotation);
213
214 void BKE_paint_stroke_get_average(struct Scene *scene, struct Object *ob, float stroke[3]);
215
216 /* Tool slot API. */
217 void BKE_paint_toolslots_init_from_main(struct Main *bmain);
218 void BKE_paint_toolslots_len_ensure(struct Paint *paint, int len);
219 void BKE_paint_toolslots_brush_update_ex(struct Paint *paint, struct Brush *brush);
220 void BKE_paint_toolslots_brush_update(struct Paint *paint);
221 void BKE_paint_toolslots_brush_validate(struct Main *bmain, struct Paint *paint);
222 struct Brush *BKE_paint_toolslots_brush_get(struct Paint *paint, int slot_index);
223
224 #define SCULPT_FACE_SET_NONE 0
225
226 /* Used for both vertex color and weight paint */
227 struct SculptVertexPaintGeomMap {
228   int *vert_map_mem;
229   struct MeshElemMap *vert_to_loop;
230   int *poly_map_mem;
231   struct MeshElemMap *vert_to_poly;
232 };
233
234 /* Pose Brush IK Chain */
235 typedef struct SculptPoseIKChainSegment {
236   float orig[3];
237   float head[3];
238
239   float initial_orig[3];
240   float initial_head[3];
241   float len;
242   float scale;
243   float rot[4];
244   float *weights;
245
246   /* Store a 4x4 transform matrix for each of the possible combinations of enabled XYZ symmetry
247    * axis. */
248   float trans_mat[PAINT_SYMM_AREAS][4][4];
249   float pivot_mat[PAINT_SYMM_AREAS][4][4];
250   float pivot_mat_inv[PAINT_SYMM_AREAS][4][4];
251 } SculptPoseIKChainSegment;
252
253 typedef struct SculptPoseIKChain {
254   SculptPoseIKChainSegment *segments;
255   int tot_segments;
256 } SculptPoseIKChain;
257
258 /* Cloth Brush */
259
260 typedef struct SculptClothLengthConstraint {
261   int v1;
262   int v2;
263
264   float length;
265 } SculptClothLengthConstraint;
266
267 typedef struct SculptClothSimulation {
268   SculptClothLengthConstraint *length_constraints;
269   int tot_length_constraints;
270   int capacity_length_constraints;
271   float *length_constraint_tweak;
272
273   float mass;
274   float damping;
275
276   float (*acceleration)[3];
277   float (*pos)[3];
278   float (*init_pos)[3];
279   float (*prev_pos)[3];
280
281 } SculptClothSimulation;
282
283 typedef struct SculptLayerPersistentBase {
284   float co[3];
285   float no[3];
286   float disp;
287 } SculptLayerPersistentBase;
288
289 /* Session data (mode-specific) */
290
291 typedef struct SculptSession {
292   /* Mesh data (not copied) can come either directly from a Mesh, or from a MultiresDM */
293   struct { /* Special handling for multires meshes */
294     bool active;
295     struct MultiresModifierData *modifier;
296     int level;
297   } multires;
298
299   /* These are always assigned to base mesh data when using PBVH_FACES and PBVH_GRIDS. */
300   struct MVert *mvert;
301   struct MPoly *mpoly;
302   struct MLoop *mloop;
303
304   /* These contain the vertex and poly counts of the final mesh. */
305   int totvert, totpoly;
306
307   struct KeyBlock *shapekey_active;
308   float *vmask;
309
310   /* Mesh connectivity */
311   struct MeshElemMap *pmap;
312   int *pmap_mem;
313
314   /* Mesh Face Sets */
315   /* Total number of polys of the base mesh. */
316   int totfaces;
317   int *face_sets;
318
319   /* BMesh for dynamic topology sculpting */
320   struct BMesh *bm;
321   int cd_vert_node_offset;
322   int cd_face_node_offset;
323   bool bm_smooth_shading;
324   /* Undo/redo log for dynamic topology sculpting */
325   struct BMLog *bm_log;
326
327   /* Limit surface/grids. */
328   struct SubdivCCG *subdiv_ccg;
329
330   /* PBVH acceleration structure */
331   struct PBVH *pbvh;
332   bool show_mask;
333   bool show_face_sets;
334
335   /* Painting on deformed mesh */
336   bool deform_modifiers_active; /* object is deformed with some modifiers */
337   float (*orig_cos)[3];         /* coords of undeformed mesh */
338   float (*deform_cos)[3];       /* coords of deformed mesh but without stroke displacement */
339   float (*deform_imats)[3][3];  /* crazyspace deformation matrices */
340
341   /* Used to cache the render of the active texture */
342   unsigned int texcache_side, *texcache, texcache_actual;
343   struct ImagePool *tex_pool;
344
345   struct StrokeCache *cache;
346   struct FilterCache *filter_cache;
347
348   /* Cursor data and active vertex for tools */
349   int active_vertex_index;
350
351   int active_face_index;
352   int active_grid_index;
353
354   float cursor_radius;
355   float cursor_location[3];
356   float cursor_normal[3];
357   float cursor_sampled_normal[3];
358   float cursor_view_normal[3];
359
360   /* TODO(jbakker): Replace rv3d adn v3d with ViewContext */
361   struct RegionView3D *rv3d;
362   struct View3D *v3d;
363
364   /* Dynamic mesh preview */
365   int *preview_vert_index_list;
366   int preview_vert_index_count;
367
368   /* Pose Brush Preview */
369   float pose_origin[3];
370   SculptPoseIKChain *pose_ik_chain_preview;
371
372   /* Layer brush persistence between strokes */
373   /* This is freed with the PBVH, so it is always in sync with the mesh. */
374   SculptLayerPersistentBase *layer_base;
375
376   /* Transform operator */
377   float pivot_pos[3];
378   float pivot_rot[4];
379   float pivot_scale[3];
380
381   float init_pivot_pos[3];
382   float init_pivot_rot[4];
383   float init_pivot_scale[3];
384
385   union {
386     struct {
387       struct SculptVertexPaintGeomMap gmap;
388
389       /* For non-airbrush painting to re-apply from the original (MLoop aligned). */
390       unsigned int *previous_color;
391     } vpaint;
392
393     struct {
394       struct SculptVertexPaintGeomMap gmap;
395       /* Keep track of how much each vertex has been painted (non-airbrush only). */
396       float *alpha_weight;
397
398       /* Needed to continuously re-apply over the same weights (BRUSH_ACCUMULATE disabled).
399        * Lazy initialize as needed (flag is set to 1 to tag it as uninitialized). */
400       struct MDeformVert *dvert_prev;
401     } wpaint;
402
403     /* TODO: identify sculpt-only fields */
404     // struct { ... } sculpt;
405   } mode;
406   eObjectMode mode_type;
407
408   /* This flag prevents PBVH from being freed when creating the vp_handle for texture paint. */
409   bool building_vp_handle;
410
411   /**
412    * ID data is older than sculpt-mode data.
413    * Set #Main.is_memfile_undo_flush_needed when enabling.
414    */
415   char needs_flush_to_id;
416
417 } SculptSession;
418
419 void BKE_sculptsession_free(struct Object *ob);
420 void BKE_sculptsession_free_deformMats(struct SculptSession *ss);
421 void BKE_sculptsession_free_vwpaint_data(struct SculptSession *ss);
422 void BKE_sculptsession_bm_to_me(struct Object *ob, bool reorder);
423 void BKE_sculptsession_bm_to_me_for_render(struct Object *object);
424
425 void BKE_sculpt_update_object_for_edit(struct Depsgraph *depsgraph,
426                                        struct Object *ob_orig,
427                                        bool need_pmap,
428                                        bool need_mask);
429 void BKE_sculpt_update_object_before_eval(struct Object *ob_eval);
430 void BKE_sculpt_update_object_after_eval(struct Depsgraph *depsgraph, struct Object *ob_eval);
431
432 struct MultiresModifierData *BKE_sculpt_multires_active(struct Scene *scene, struct Object *ob);
433 int BKE_sculpt_mask_layers_ensure(struct Object *ob, struct MultiresModifierData *mmd);
434 void BKE_sculpt_toolsettings_data_ensure(struct Scene *scene);
435
436 struct PBVH *BKE_sculpt_object_pbvh_ensure(struct Depsgraph *depsgraph, struct Object *ob);
437
438 void BKE_sculpt_bvh_update_from_ccg(struct PBVH *pbvh, struct SubdivCCG *subdiv_ccg);
439
440 bool BKE_sculptsession_use_pbvh_draw(const struct Object *ob, const struct View3D *v3d);
441
442 enum {
443   SCULPT_MASK_LAYER_CALC_VERT = (1 << 0),
444   SCULPT_MASK_LAYER_CALC_LOOP = (1 << 1),
445 };
446
447 #ifdef __cplusplus
448 }
449 #endif
450
451 #endif