Cleanup: style, use braces for editors
[blender.git] / source / blender / editors / gpencil / gpencil_fill.c
1 /*
2  * This program is free software; you can redistribute it and/or
3  * modify it under the terms of the GNU General Public License
4  * as published by the Free Software Foundation; either version 2
5  * of the License, or (at your option) any later version.
6  *
7  * This program is distributed in the hope that it will be useful,
8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
10  * GNU General Public License for more details.
11  *
12  * You should have received a copy of the GNU General Public License
13  * along with this program; if not, write to the Free Software Foundation,
14  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
15  *
16  * The Original Code is Copyright (C) 2017, Blender Foundation
17  * This is a new part of Blender
18  */
19
20 /** \file
21  * \ingroup edgpencil
22  */
23
24 #include <stdio.h>
25
26 #include "MEM_guardedalloc.h"
27
28 #include "BLI_utildefines.h"
29 #include "BLI_blenlib.h"
30 #include "BLI_math.h"
31 #include "BLI_stack.h"
32
33 #include "BLT_translation.h"
34
35 #include "DNA_brush_types.h"
36 #include "DNA_gpencil_types.h"
37 #include "DNA_image_types.h"
38 #include "DNA_meshdata_types.h"
39 #include "DNA_object_types.h"
40 #include "DNA_windowmanager_types.h"
41
42 #include "BKE_main.h"
43 #include "BKE_brush.h"
44 #include "BKE_deform.h"
45 #include "BKE_image.h"
46 #include "BKE_gpencil.h"
47 #include "BKE_material.h"
48 #include "BKE_context.h"
49 #include "BKE_screen.h"
50 #include "BKE_paint.h"
51
52 #include "ED_gpencil.h"
53 #include "ED_screen.h"
54 #include "ED_space_api.h"
55 #include "ED_view3d.h"
56
57 #include "RNA_access.h"
58 #include "RNA_define.h"
59
60 #include "IMB_imbuf.h"
61 #include "IMB_imbuf_types.h"
62
63 #include "GPU_immediate.h"
64 #include "GPU_draw.h"
65 #include "GPU_matrix.h"
66 #include "GPU_framebuffer.h"
67 #include "GPU_state.h"
68
69 #include "UI_interface.h"
70
71 #include "WM_api.h"
72 #include "WM_types.h"
73
74 #include "DEG_depsgraph.h"
75 #include "DEG_depsgraph_query.h"
76
77 #include "gpencil_intern.h"
78
79 #define LEAK_HORZ 0
80 #define LEAK_VERT 1
81
82 /* Temporary fill operation data (op->customdata) */
83 typedef struct tGPDfill {
84   bContext *C;
85   struct Main *bmain;
86   struct Depsgraph *depsgraph;
87   /** window where painting originated */
88   struct wmWindow *win;
89   /** current scene from context */
90   struct Scene *scene;
91   /** current active gp object */
92   struct Object *ob;
93   /** area where painting originated */
94   struct ScrArea *sa;
95   /** region where painting originated */
96   struct RegionView3D *rv3d;
97   /** view3 where painting originated */
98   struct View3D *v3d;
99   /** region where painting originated */
100   struct ARegion *ar;
101   /** current GP datablock */
102   struct bGPdata *gpd;
103   /** current material */
104   struct Material *mat;
105   /** layer */
106   struct bGPDlayer *gpl;
107   /** frame */
108   struct bGPDframe *gpf;
109
110   /** flags */
111   short flag;
112   /** avoid too fast events */
113   short oldkey;
114   /** send to back stroke */
115   bool on_back;
116
117   /** mouse fill center position */
118   int center[2];
119   /** windows width */
120   int sizex;
121   /** window height */
122   int sizey;
123   /** lock to viewport axis */
124   int lock_axis;
125
126   /** number of pixel to consider the leak is too small (x 2) */
127   short fill_leak;
128   /** factor for transparency */
129   float fill_threshold;
130   /** number of simplify steps */
131   int fill_simplylvl;
132   /** boundary limits drawing mode */
133   int fill_draw_mode;
134   /* scaling factor */
135   short fill_factor;
136
137   /** number of elements currently in cache */
138   short sbuffer_size;
139   /** temporary points */
140   void *sbuffer;
141   /** depth array for reproject */
142   float *depth_arr;
143
144   /** temp image */
145   Image *ima;
146   /** temp points data */
147   BLI_Stack *stack;
148   /** handle for drawing strokes while operator is running 3d stuff */
149   void *draw_handle_3d;
150
151   /* tmp size x */
152   int bwinx;
153   /* tmp size y */
154   int bwiny;
155   rcti brect;
156
157 } tGPDfill;
158
159 /* draw a given stroke using same thickness and color for all points */
160 static void gp_draw_basic_stroke(tGPDfill *tgpf,
161                                  bGPDstroke *gps,
162                                  const float diff_mat[4][4],
163                                  const bool cyclic,
164                                  const float ink[4],
165                                  const int flag,
166                                  const float thershold)
167 {
168   bGPDspoint *points = gps->points;
169
170   Material *ma = tgpf->mat;
171   MaterialGPencilStyle *gp_style = ma->gp_style;
172
173   int totpoints = gps->totpoints;
174   float fpt[3];
175   float col[4];
176
177   copy_v4_v4(col, ink);
178
179   /* if cyclic needs more vertex */
180   int cyclic_add = (cyclic) ? 1 : 0;
181
182   GPUVertFormat *format = immVertexFormat();
183   uint pos = GPU_vertformat_attr_add(format, "pos", GPU_COMP_F32, 3, GPU_FETCH_FLOAT);
184   uint color = GPU_vertformat_attr_add(format, "color", GPU_COMP_F32, 4, GPU_FETCH_FLOAT);
185
186   immBindBuiltinProgram(GPU_SHADER_3D_FLAT_COLOR);
187
188   /* draw stroke curve */
189   GPU_line_width(1.0f);
190   immBeginAtMost(GPU_PRIM_LINE_STRIP, totpoints + cyclic_add);
191   const bGPDspoint *pt = points;
192
193   for (int i = 0; i < totpoints; i++, pt++) {
194
195     if (flag & GP_BRUSH_FILL_HIDE) {
196       float alpha = gp_style->stroke_rgba[3] * pt->strength;
197       CLAMP(alpha, 0.0f, 1.0f);
198       col[3] = alpha <= thershold ? 0.0f : 1.0f;
199     }
200     else {
201       col[3] = 1.0f;
202     }
203     /* set point */
204     immAttr4fv(color, col);
205     mul_v3_m4v3(fpt, diff_mat, &pt->x);
206     immVertex3fv(pos, fpt);
207   }
208
209   if (cyclic && totpoints > 2) {
210     /* draw line to first point to complete the cycle */
211     immAttr4fv(color, col);
212     mul_v3_m4v3(fpt, diff_mat, &points->x);
213     immVertex3fv(pos, fpt);
214   }
215
216   immEnd();
217   immUnbindProgram();
218 }
219
220 /* loop all layers */
221 static void gp_draw_datablock(tGPDfill *tgpf, const float ink[4])
222 {
223   /* duplicated: etempFlags */
224   enum {
225     GP_DRAWFILLS_NOSTATUS = (1 << 0), /* don't draw status info */
226     GP_DRAWFILLS_ONLY3D = (1 << 1),   /* only draw 3d-strokes */
227   };
228
229   Object *ob = tgpf->ob;
230   bGPdata *gpd = tgpf->gpd;
231   int cfra_eval = (int)DEG_get_ctime(tgpf->depsgraph);
232
233   tGPDdraw tgpw;
234   tgpw.rv3d = tgpf->rv3d;
235   tgpw.depsgraph = tgpf->depsgraph;
236   tgpw.ob = ob;
237   tgpw.gpd = gpd;
238   tgpw.offsx = 0;
239   tgpw.offsy = 0;
240   tgpw.winx = tgpf->ar->winx;
241   tgpw.winy = tgpf->ar->winy;
242   tgpw.dflag = 0;
243   tgpw.disable_fill = 1;
244   tgpw.dflag |= (GP_DRAWFILLS_ONLY3D | GP_DRAWFILLS_NOSTATUS);
245
246   GPU_blend(true);
247
248   for (bGPDlayer *gpl = gpd->layers.first; gpl; gpl = gpl->next) {
249     /* calculate parent position */
250     ED_gpencil_parent_location(tgpw.depsgraph, ob, gpd, gpl, tgpw.diff_mat);
251
252     /* do not draw layer if hidden */
253     if (gpl->flag & GP_LAYER_HIDE) {
254       continue;
255     }
256
257     /* if active layer and no keyframe, create a new one */
258     if (gpl == tgpf->gpl) {
259       if ((gpl->actframe == NULL) || (gpl->actframe->framenum != cfra_eval)) {
260         BKE_gpencil_layer_getframe(gpl, cfra_eval, GP_GETFRAME_ADD_NEW);
261       }
262     }
263
264     /* get frame to draw */
265     bGPDframe *gpf = BKE_gpencil_layer_getframe(gpl, cfra_eval, GP_GETFRAME_USE_PREV);
266     if (gpf == NULL) {
267       continue;
268     }
269
270     for (bGPDstroke *gps = gpf->strokes.first; gps; gps = gps->next) {
271       /* check if stroke can be drawn */
272       if ((gps->points == NULL) || (gps->totpoints < 2)) {
273         continue;
274       }
275       /* check if the color is visible */
276       MaterialGPencilStyle *gp_style = BKE_material_gpencil_settings_get(ob, gps->mat_nr + 1);
277       if ((gp_style == NULL) || (gp_style->flag & GP_STYLE_COLOR_HIDE)) {
278         continue;
279       }
280
281       tgpw.gps = gps;
282       tgpw.gpl = gpl;
283       tgpw.gpf = gpf;
284       tgpw.t_gpf = gpf;
285
286       /* reduce thickness to avoid gaps */
287       tgpw.is_fill_stroke = (tgpf->fill_draw_mode == GP_FILL_DMODE_CONTROL) ? false : true;
288       tgpw.lthick = gpl->line_change;
289       tgpw.opacity = 1.0;
290       copy_v4_v4(tgpw.tintcolor, ink);
291       tgpw.onion = true;
292       tgpw.custonion = true;
293
294       bool textured_stroke = (gp_style->stroke_style == GP_STYLE_STROKE_STYLE_TEXTURE);
295
296       /* normal strokes */
297       if (((tgpf->fill_draw_mode == GP_FILL_DMODE_STROKE) ||
298            (tgpf->fill_draw_mode == GP_FILL_DMODE_BOTH)) &&
299           !textured_stroke) {
300         ED_gp_draw_fill(&tgpw);
301       }
302
303       /* 3D Lines with basic shapes and invisible lines */
304       if ((tgpf->fill_draw_mode == GP_FILL_DMODE_CONTROL) ||
305           (tgpf->fill_draw_mode == GP_FILL_DMODE_BOTH) || textured_stroke) {
306         gp_draw_basic_stroke(tgpf,
307                              gps,
308                              tgpw.diff_mat,
309                              gps->flag & GP_STROKE_CYCLIC,
310                              ink,
311                              tgpf->flag,
312                              tgpf->fill_threshold);
313       }
314     }
315   }
316
317   GPU_blend(false);
318 }
319
320 /* draw strokes in offscreen buffer */
321 static bool gp_render_offscreen(tGPDfill *tgpf)
322 {
323   bool is_ortho = false;
324   float winmat[4][4];
325
326   if (!tgpf->gpd) {
327     return false;
328   }
329
330   /* set temporary new size */
331   tgpf->bwinx = tgpf->ar->winx;
332   tgpf->bwiny = tgpf->ar->winy;
333   tgpf->brect = tgpf->ar->winrct;
334
335   /* resize ar */
336   tgpf->ar->winrct.xmin = 0;
337   tgpf->ar->winrct.ymin = 0;
338   tgpf->ar->winrct.xmax = (int)tgpf->ar->winx * tgpf->fill_factor;
339   tgpf->ar->winrct.ymax = (int)tgpf->ar->winy * tgpf->fill_factor;
340   tgpf->ar->winx = (short)abs(tgpf->ar->winrct.xmax - tgpf->ar->winrct.xmin);
341   tgpf->ar->winy = (short)abs(tgpf->ar->winrct.ymax - tgpf->ar->winrct.ymin);
342
343   /* save new size */
344   tgpf->sizex = (int)tgpf->ar->winx;
345   tgpf->sizey = (int)tgpf->ar->winy;
346
347   /* adjust center */
348   float center[2];
349   center[0] = (float)tgpf->center[0] * ((float)tgpf->ar->winx / (float)tgpf->bwinx);
350   center[1] = (float)tgpf->center[1] * ((float)tgpf->ar->winy / (float)tgpf->bwiny);
351   round_v2i_v2fl(tgpf->center, center);
352
353   char err_out[256] = "unknown";
354   GPUOffScreen *offscreen = GPU_offscreen_create(
355       tgpf->sizex, tgpf->sizey, 0, true, false, err_out);
356   if (offscreen == NULL) {
357     printf("GPencil - Fill - Unable to create fill buffer\n");
358     return false;
359   }
360
361   GPU_offscreen_bind(offscreen, true);
362   uint flag = IB_rect | IB_rectfloat;
363   ImBuf *ibuf = IMB_allocImBuf(tgpf->sizex, tgpf->sizey, 32, flag);
364
365   rctf viewplane;
366   float clip_start, clip_end;
367
368   is_ortho = ED_view3d_viewplane_get(tgpf->depsgraph,
369                                      tgpf->v3d,
370                                      tgpf->rv3d,
371                                      tgpf->sizex,
372                                      tgpf->sizey,
373                                      &viewplane,
374                                      &clip_start,
375                                      &clip_end,
376                                      NULL);
377   if (is_ortho) {
378     orthographic_m4(winmat,
379                     viewplane.xmin,
380                     viewplane.xmax,
381                     viewplane.ymin,
382                     viewplane.ymax,
383                     -clip_end,
384                     clip_end);
385   }
386   else {
387     perspective_m4(winmat,
388                    viewplane.xmin,
389                    viewplane.xmax,
390                    viewplane.ymin,
391                    viewplane.ymax,
392                    clip_start,
393                    clip_end);
394   }
395
396   GPU_matrix_push_projection();
397   GPU_matrix_identity_set();
398   GPU_matrix_push();
399   GPU_matrix_identity_set();
400
401   glClearColor(0.0f, 0.0f, 0.0f, 0.0f);
402   glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);
403
404   ED_view3d_update_viewmat(tgpf->depsgraph, tgpf->scene, tgpf->v3d, tgpf->ar, NULL, winmat, NULL);
405   /* set for opengl */
406   GPU_matrix_projection_set(tgpf->rv3d->winmat);
407   GPU_matrix_set(tgpf->rv3d->viewmat);
408
409   /* draw strokes */
410   float ink[4] = {1.0f, 0.0f, 0.0f, 1.0f};
411   gp_draw_datablock(tgpf, ink);
412
413   GPU_matrix_pop_projection();
414   GPU_matrix_pop();
415
416   /* create a image to see result of template */
417   if (ibuf->rect_float) {
418     GPU_offscreen_read_pixels(offscreen, GL_FLOAT, ibuf->rect_float);
419   }
420   else if (ibuf->rect) {
421     GPU_offscreen_read_pixels(offscreen, GL_UNSIGNED_BYTE, ibuf->rect);
422   }
423   if (ibuf->rect_float && ibuf->rect) {
424     IMB_rect_from_float(ibuf);
425   }
426
427   tgpf->ima = BKE_image_add_from_imbuf(tgpf->bmain, ibuf, "GP_fill");
428   tgpf->ima->id.tag |= LIB_TAG_DOIT;
429
430   BKE_image_release_ibuf(tgpf->ima, ibuf, NULL);
431
432   /* switch back to window-system-provided framebuffer */
433   GPU_offscreen_unbind(offscreen, true);
434   GPU_offscreen_free(offscreen);
435
436   return true;
437 }
438
439 /* return pixel data (rgba) at index */
440 static void get_pixel(const ImBuf *ibuf, const int idx, float r_col[4])
441 {
442   if (ibuf->rect_float) {
443     const float *frgba = &ibuf->rect_float[idx * 4];
444     copy_v4_v4(r_col, frgba);
445   }
446   else {
447     /* XXX: This case probably doesn't happen, as we only write to the float buffer,
448      * but we get compiler warnings about uninitialised vars otherwise
449      */
450     BLI_assert(!"gpencil_fill.c - get_pixel() non-float case is used!");
451     zero_v4(r_col);
452   }
453 }
454
455 /* set pixel data (rgba) at index */
456 static void set_pixel(ImBuf *ibuf, int idx, const float col[4])
457 {
458   //BLI_assert(idx <= ibuf->x * ibuf->y);
459   if (ibuf->rect) {
460     uint *rrect = &ibuf->rect[idx];
461     uchar ccol[4];
462
463     rgba_float_to_uchar(ccol, col);
464     *rrect = *((uint *)ccol);
465   }
466
467   if (ibuf->rect_float) {
468     float *rrectf = &ibuf->rect_float[idx * 4];
469     copy_v4_v4(rrectf, col);
470   }
471 }
472
473 /* check if the size of the leak is narrow to determine if the stroke is closed
474  * this is used for strokes with small gaps between them to get a full fill
475  * and do not get a full screen fill.
476  *
477  * \param ibuf: Image pixel data
478  * \param maxpixel: Maximum index
479  * \param limit: Limit of pixels to analyze
480  * \param index: Index of current pixel
481  * \param type: 0-Horizontal 1-Vertical
482  */
483 static bool is_leak_narrow(ImBuf *ibuf, const int maxpixel, int limit, int index, int type)
484 {
485   float rgba[4];
486   int i;
487   int pt;
488   bool t_a = false;
489   bool t_b = false;
490
491   /* Horizontal leak (check vertical pixels)
492    * X
493    * X
494    * xB7
495    * X
496    * X
497    */
498   if (type == LEAK_HORZ) {
499     /* pixels on top */
500     for (i = 1; i <= limit; i++) {
501       pt = index + (ibuf->x * i);
502       if (pt <= maxpixel) {
503         get_pixel(ibuf, pt, rgba);
504         if (rgba[0] == 1.0f) {
505           t_a = true;
506           break;
507         }
508       }
509       else {
510         /* edge of image*/
511         t_a = true;
512         break;
513       }
514     }
515     /* pixels on bottom */
516     for (i = 1; i <= limit; i++) {
517       pt = index - (ibuf->x * i);
518       if (pt >= 0) {
519         get_pixel(ibuf, pt, rgba);
520         if (rgba[0] == 1.0f) {
521           t_b = true;
522           break;
523         }
524       }
525       else {
526         /* edge of image*/
527         t_b = true;
528         break;
529       }
530     }
531   }
532
533   /* Vertical leak (check horizontal pixels)
534    *
535    * XXXxB7XX
536    */
537   if (type == LEAK_VERT) {
538     /* get pixel range of the row */
539     int row = index / ibuf->x;
540     int lowpix = row * ibuf->x;
541     int higpix = lowpix + ibuf->x - 1;
542
543     /* pixels to right */
544     for (i = 0; i < limit; i++) {
545       pt = index - (limit - i);
546       if (pt >= lowpix) {
547         get_pixel(ibuf, pt, rgba);
548         if (rgba[0] == 1.0f) {
549           t_a = true;
550           break;
551         }
552       }
553       else {
554         t_a = true; /* edge of image*/
555         break;
556       }
557     }
558     /* pixels to left */
559     for (i = 0; i < limit; i++) {
560       pt = index + (limit - i);
561       if (pt <= higpix) {
562         get_pixel(ibuf, pt, rgba);
563         if (rgba[0] == 1.0f) {
564           t_b = true;
565           break;
566         }
567       }
568       else {
569         t_b = true; /* edge of image */
570         break;
571       }
572     }
573   }
574   return (bool)(t_a && t_b);
575 }
576
577 /* Boundary fill inside strokes
578  * Fills the space created by a set of strokes using the stroke color as the boundary
579  * of the shape to fill.
580  *
581  * \param tgpf: Temporary fill data
582  */
583 static void gpencil_boundaryfill_area(tGPDfill *tgpf)
584 {
585   ImBuf *ibuf;
586   float rgba[4];
587   void *lock;
588   const float fill_col[4] = {0.0f, 1.0f, 0.0f, 1.0f};
589   ibuf = BKE_image_acquire_ibuf(tgpf->ima, NULL, &lock);
590   const int maxpixel = (ibuf->x * ibuf->y) - 1;
591
592   BLI_Stack *stack = BLI_stack_new(sizeof(int), __func__);
593
594   /* calculate index of the seed point using the position of the mouse */
595   int index = (tgpf->sizex * tgpf->center[1]) + tgpf->center[0];
596   if ((index >= 0) && (index <= maxpixel)) {
597     BLI_stack_push(stack, &index);
598   }
599
600   /* the fill use a stack to save the pixel list instead of the common recursive
601    * 4-contact point method.
602    * The problem with recursive calls is that for big fill areas, we can get max limit
603    * of recursive calls and STACK_OVERFLOW error.
604    *
605    * The 4-contact point analyze the pixels to the left, right, bottom and top
606    *      -----------
607    *      |    X    |
608    *      |   XoX   |
609    *      |    X    |
610    *      -----------
611    */
612   while (!BLI_stack_is_empty(stack)) {
613     int v;
614
615     BLI_stack_pop(stack, &v);
616
617     get_pixel(ibuf, v, rgba);
618
619     if (true) { /* Was: 'rgba' */
620       /* check if no border(red) or already filled color(green) */
621       if ((rgba[0] != 1.0f) && (rgba[1] != 1.0f)) {
622         /* fill current pixel with green */
623         set_pixel(ibuf, v, fill_col);
624
625         /* add contact pixels */
626         /* pixel left */
627         if (v - 1 >= 0) {
628           index = v - 1;
629           if (!is_leak_narrow(ibuf, maxpixel, tgpf->fill_leak, v, LEAK_HORZ)) {
630             BLI_stack_push(stack, &index);
631           }
632         }
633         /* pixel right */
634         if (v + 1 <= maxpixel) {
635           index = v + 1;
636           if (!is_leak_narrow(ibuf, maxpixel, tgpf->fill_leak, v, LEAK_HORZ)) {
637             BLI_stack_push(stack, &index);
638           }
639         }
640         /* pixel top */
641         if (v + ibuf->x <= maxpixel) {
642           index = v + ibuf->x;
643           if (!is_leak_narrow(ibuf, maxpixel, tgpf->fill_leak, v, LEAK_VERT)) {
644             BLI_stack_push(stack, &index);
645           }
646         }
647         /* pixel bottom */
648         if (v - ibuf->x >= 0) {
649           index = v - ibuf->x;
650           if (!is_leak_narrow(ibuf, maxpixel, tgpf->fill_leak, v, LEAK_VERT)) {
651             BLI_stack_push(stack, &index);
652           }
653         }
654       }
655     }
656   }
657
658   /* release ibuf */
659   if (ibuf) {
660     BKE_image_release_ibuf(tgpf->ima, ibuf, lock);
661   }
662
663   tgpf->ima->id.tag |= LIB_TAG_DOIT;
664   /* free temp stack data */
665   BLI_stack_free(stack);
666 }
667
668 /* clean external border of image to avoid infinite loops */
669 static void gpencil_clean_borders(tGPDfill *tgpf)
670 {
671   ImBuf *ibuf;
672   void *lock;
673   const float fill_col[4] = {0.0f, 0.0f, 0.0f, 0.0f};
674   ibuf = BKE_image_acquire_ibuf(tgpf->ima, NULL, &lock);
675   int idx;
676   int pixel = 0;
677
678   /* horizontal lines */
679   for (idx = 0; idx < ibuf->x; idx++) {
680     /* bottom line */
681     set_pixel(ibuf, idx, fill_col);
682     /* top line */
683     pixel = idx + (ibuf->x * (ibuf->y - 1));
684     set_pixel(ibuf, pixel, fill_col);
685   }
686   /* vertical lines */
687   for (idx = 0; idx < ibuf->y; idx++) {
688     /* left line */
689     set_pixel(ibuf, ibuf->x * idx, fill_col);
690     /* right line */
691     pixel = ibuf->x * idx + (ibuf->x - 1);
692     set_pixel(ibuf, pixel, fill_col);
693   }
694
695   /* release ibuf */
696   if (ibuf) {
697     BKE_image_release_ibuf(tgpf->ima, ibuf, lock);
698   }
699
700   tgpf->ima->id.tag |= LIB_TAG_DOIT;
701 }
702
703 /* Naive dilate
704  *
705  * Expand green areas into enclosing red areas.
706  * Using stack prevents creep when replacing colors directly.
707  * -----------
708  *  XXXXXXX
709  *  XoooooX
710  *  XXooXXX
711  *   XXXX
712  * -----------
713  */
714 static void dilate(ImBuf *ibuf)
715 {
716   BLI_Stack *stack = BLI_stack_new(sizeof(int), __func__);
717   const float green[4] = {0.0f, 1.0f, 0.0f, 1.0f};
718   const int maxpixel = (ibuf->x * ibuf->y) - 1;
719   /* detect pixels and expand into red areas */
720   for (int v = maxpixel; v != 0; v--) {
721     float color[4];
722     int index;
723     int tp = 0;
724     int bm = 0;
725     int lt = 0;
726     int rt = 0;
727     get_pixel(ibuf, v, color);
728     if (color[1] == 1.0f) {
729       /* pixel left */
730       if (v - 1 >= 0) {
731         index = v - 1;
732         get_pixel(ibuf, index, color);
733         if (color[0] == 1.0f) {
734           BLI_stack_push(stack, &index);
735           lt = index;
736         }
737       }
738       /* pixel right */
739       if (v + 1 <= maxpixel) {
740         index = v + 1;
741         get_pixel(ibuf, index, color);
742         if (color[0] == 1.0f) {
743           BLI_stack_push(stack, &index);
744           rt = index;
745         }
746       }
747       /* pixel top */
748       if (v + ibuf->x <= maxpixel) {
749         index = v + ibuf->x;
750         get_pixel(ibuf, index, color);
751         if (color[0] == 1.0f) {
752           BLI_stack_push(stack, &index);
753           tp = index;
754         }
755       }
756       /* pixel bottom */
757       if (v - ibuf->x >= 0) {
758         index = v - ibuf->x;
759         get_pixel(ibuf, index, color);
760         if (color[0] == 1.0f) {
761           BLI_stack_push(stack, &index);
762           bm = index;
763         }
764       }
765       /* pixel top-left */
766       if (tp && lt) {
767         index = tp - 1;
768         get_pixel(ibuf, index, color);
769         if (color[0] == 1.0f) {
770           BLI_stack_push(stack, &index);
771         }
772       }
773       /* pixel top-right */
774       if (tp && rt) {
775         index = tp + 1;
776         get_pixel(ibuf, index, color);
777         if (color[0] == 1.0f) {
778           BLI_stack_push(stack, &index);
779         }
780       }
781       /* pixel bottom-left */
782       if (bm && lt) {
783         index = bm - 1;
784         get_pixel(ibuf, index, color);
785         if (color[0] == 1.0f) {
786           BLI_stack_push(stack, &index);
787         }
788       }
789       /* pixel bottom-right */
790       if (bm && rt) {
791         index = bm + 1;
792         get_pixel(ibuf, index, color);
793         if (color[0] == 1.0f) {
794           BLI_stack_push(stack, &index);
795         }
796       }
797     }
798   }
799   /* set dilated pixels */
800   while (!BLI_stack_is_empty(stack)) {
801     int v;
802     BLI_stack_pop(stack, &v);
803     set_pixel(ibuf, v, green);
804   }
805   BLI_stack_free(stack);
806 }
807
808 /* Get the outline points of a shape using Moore Neighborhood algorithm
809  *
810  * This is a Blender customized version of the general algorithm described
811  * in https://en.wikipedia.org/wiki/Moore_neighborhood
812  */
813 static void gpencil_get_outline_points(tGPDfill *tgpf)
814 {
815   ImBuf *ibuf;
816   float rgba[4];
817   void *lock;
818   int v[2];
819   int boundary_co[2];
820   int start_co[2];
821   int backtracked_co[2];
822   int current_check_co[2];
823   int prev_check_co[2];
824   int backtracked_offset[1][2] = {{0, 0}};
825   // bool boundary_found = false;
826   bool start_found = false;
827   const int NEIGHBOR_COUNT = 8;
828
829   const int offset[8][2] = {
830       {-1, -1},
831       {0, -1},
832       {1, -1},
833       {1, 0},
834       {1, 1},
835       {0, 1},
836       {-1, 1},
837       {-1, 0},
838   };
839
840   tgpf->stack = BLI_stack_new(sizeof(int[2]), __func__);
841
842   ibuf = BKE_image_acquire_ibuf(tgpf->ima, NULL, &lock);
843   int imagesize = ibuf->x * ibuf->y;
844
845   /* dilate */
846   dilate(ibuf);
847
848   /* find the initial point to start outline analysis */
849   for (int idx = imagesize - 1; idx != 0; idx--) {
850     get_pixel(ibuf, idx, rgba);
851     if (rgba[1] == 1.0f) {
852       boundary_co[0] = idx % ibuf->x;
853       boundary_co[1] = idx / ibuf->x;
854       copy_v2_v2_int(start_co, boundary_co);
855       backtracked_co[0] = (idx - 1) % ibuf->x;
856       backtracked_co[1] = (idx - 1) / ibuf->x;
857       backtracked_offset[0][0] = backtracked_co[0] - boundary_co[0];
858       backtracked_offset[0][1] = backtracked_co[1] - boundary_co[1];
859       copy_v2_v2_int(prev_check_co, start_co);
860
861       BLI_stack_push(tgpf->stack, &boundary_co);
862       start_found = true;
863       break;
864     }
865   }
866
867   while (start_found) {
868     int cur_back_offset = -1;
869     for (int i = 0; i < NEIGHBOR_COUNT; i++) {
870       if (backtracked_offset[0][0] == offset[i][0] && backtracked_offset[0][1] == offset[i][1]) {
871         /* Finding the bracktracked pixel offset index */
872         cur_back_offset = i;
873         break;
874       }
875     }
876
877     int loop = 0;
878     while (loop < (NEIGHBOR_COUNT - 1) && cur_back_offset != -1) {
879       int offset_idx = (cur_back_offset + 1) % NEIGHBOR_COUNT;
880       current_check_co[0] = boundary_co[0] + offset[offset_idx][0];
881       current_check_co[1] = boundary_co[1] + offset[offset_idx][1];
882
883       int image_idx = ibuf->x * current_check_co[1] + current_check_co[0];
884       get_pixel(ibuf, image_idx, rgba);
885
886       /* find next boundary pixel */
887       if (rgba[1] == 1.0f) {
888         copy_v2_v2_int(boundary_co, current_check_co);
889         copy_v2_v2_int(backtracked_co, prev_check_co);
890         backtracked_offset[0][0] = backtracked_co[0] - boundary_co[0];
891         backtracked_offset[0][1] = backtracked_co[1] - boundary_co[1];
892
893         BLI_stack_push(tgpf->stack, &boundary_co);
894
895         break;
896       }
897       copy_v2_v2_int(prev_check_co, current_check_co);
898       cur_back_offset++;
899       loop++;
900     }
901     /* current pixel is equal to starting pixel */
902     if (boundary_co[0] == start_co[0] && boundary_co[1] == start_co[1]) {
903       BLI_stack_pop(tgpf->stack, &v);
904       // boundary_found = true;
905       break;
906     }
907   }
908
909   /* release ibuf */
910   if (ibuf) {
911     BKE_image_release_ibuf(tgpf->ima, ibuf, lock);
912   }
913 }
914
915 /* get z-depth array to reproject on surface */
916 static void gpencil_get_depth_array(tGPDfill *tgpf)
917 {
918   tGPspoint *ptc;
919   ToolSettings *ts = tgpf->scene->toolsettings;
920   int totpoints = tgpf->sbuffer_size;
921   int i = 0;
922
923   if (totpoints == 0) {
924     return;
925   }
926
927   /* for surface sketching, need to set the right OpenGL context stuff so that
928    * the conversions will project the values correctly...
929    */
930   if (ts->gpencil_v3d_align & GP_PROJECT_DEPTH_VIEW) {
931     /* need to restore the original projection settings before packing up */
932     view3d_region_operator_needs_opengl(tgpf->win, tgpf->ar);
933     ED_view3d_autodist_init(tgpf->depsgraph, tgpf->ar, tgpf->v3d, 0);
934
935     /* Since strokes are so fine, when using their depth we need a margin
936      * otherwise they might get missed. */
937     int depth_margin = 0;
938
939     /* get an array of depths, far depths are blended */
940     int mval_prev[2] = {0};
941     int interp_depth = 0;
942     int found_depth = 0;
943
944     tgpf->depth_arr = MEM_mallocN(sizeof(float) * totpoints, "depth_points");
945
946     for (i = 0, ptc = tgpf->sbuffer; i < totpoints; i++, ptc++) {
947
948       int mval_i[2];
949       round_v2i_v2fl(mval_i, &ptc->x);
950
951       if ((ED_view3d_autodist_depth(tgpf->ar, mval_i, depth_margin, tgpf->depth_arr + i) == 0) &&
952           (i && (ED_view3d_autodist_depth_seg(
953                      tgpf->ar, mval_i, mval_prev, depth_margin + 1, tgpf->depth_arr + i) == 0))) {
954         interp_depth = true;
955       }
956       else {
957         found_depth = true;
958       }
959
960       copy_v2_v2_int(mval_prev, mval_i);
961     }
962
963     if (found_depth == false) {
964       /* eeh... not much we can do.. :/, ignore depth in this case */
965       for (i = totpoints - 1; i >= 0; i--) {
966         tgpf->depth_arr[i] = 0.9999f;
967       }
968     }
969     else {
970       if (interp_depth) {
971         interp_sparse_array(tgpf->depth_arr, totpoints, FLT_MAX);
972       }
973     }
974   }
975 }
976
977 /* create array of points using stack as source */
978 static void gpencil_points_from_stack(tGPDfill *tgpf)
979 {
980   tGPspoint *point2D;
981   int totpoints = BLI_stack_count(tgpf->stack);
982   if (totpoints == 0) {
983     return;
984   }
985
986   tgpf->sbuffer_size = (short)totpoints;
987   tgpf->sbuffer = MEM_callocN(sizeof(tGPspoint) * totpoints, __func__);
988
989   point2D = tgpf->sbuffer;
990   while (!BLI_stack_is_empty(tgpf->stack)) {
991     int v[2];
992     BLI_stack_pop(tgpf->stack, &v);
993     copy_v2fl_v2i(&point2D->x, v);
994     /* shift points to center of pixel */
995     add_v2_fl(&point2D->x, 0.5f);
996     point2D->pressure = 1.0f;
997     point2D->strength = 1.0f;
998     point2D->time = 0.0f;
999     point2D++;
1000   }
1001 }
1002
1003 /* create a grease pencil stroke using points in buffer */
1004 static void gpencil_stroke_from_buffer(tGPDfill *tgpf)
1005 {
1006   const int cfra_eval = (int)DEG_get_ctime(tgpf->depsgraph);
1007
1008   ToolSettings *ts = tgpf->scene->toolsettings;
1009   const char *align_flag = &ts->gpencil_v3d_align;
1010   const bool is_depth = (bool)(*align_flag & (GP_PROJECT_DEPTH_VIEW | GP_PROJECT_DEPTH_STROKE));
1011   const bool is_camera = (bool)(ts->gp_sculpt.lock_axis == 0) &&
1012                          (tgpf->rv3d->persp == RV3D_CAMOB) && (!is_depth);
1013   Brush *brush = BKE_paint_brush(&ts->gp_paint->paint);
1014   if (brush == NULL) {
1015     return;
1016   }
1017
1018   bGPDspoint *pt;
1019   MDeformVert *dvert = NULL;
1020   tGPspoint *point2D;
1021
1022   if (tgpf->sbuffer_size == 0) {
1023     return;
1024   }
1025
1026   /* get frame or create a new one */
1027   tgpf->gpf = BKE_gpencil_layer_getframe(tgpf->gpl, cfra_eval, GP_GETFRAME_ADD_NEW);
1028
1029   /* create new stroke */
1030   bGPDstroke *gps = MEM_callocN(sizeof(bGPDstroke), "bGPDstroke");
1031   gps->thickness = brush->size;
1032   gps->gradient_f = brush->gpencil_settings->gradient_f;
1033   copy_v2_v2(gps->gradient_s, brush->gpencil_settings->gradient_s);
1034   gps->inittime = 0.0f;
1035
1036   /* the polygon must be closed, so enabled cyclic */
1037   gps->flag |= GP_STROKE_CYCLIC;
1038   gps->flag |= GP_STROKE_3DSPACE;
1039
1040   gps->mat_nr = BKE_gpencil_object_material_ensure(tgpf->bmain, tgpf->ob, tgpf->mat);
1041
1042   /* allocate memory for storage points */
1043   gps->totpoints = tgpf->sbuffer_size;
1044   gps->points = MEM_callocN(sizeof(bGPDspoint) * tgpf->sbuffer_size, "gp_stroke_points");
1045
1046   /* initialize triangle memory to dummy data */
1047   gps->tot_triangles = 0;
1048   gps->triangles = NULL;
1049   gps->flag |= GP_STROKE_RECALC_GEOMETRY;
1050
1051   /* add stroke to frame */
1052   if ((ts->gpencil_flags & GP_TOOL_FLAG_PAINT_ONBACK) || (tgpf->on_back == true)) {
1053     BLI_addhead(&tgpf->gpf->strokes, gps);
1054   }
1055   else {
1056     BLI_addtail(&tgpf->gpf->strokes, gps);
1057   }
1058
1059   /* add points */
1060   pt = gps->points;
1061   point2D = (tGPspoint *)tgpf->sbuffer;
1062
1063   const int def_nr = tgpf->ob->actdef - 1;
1064   const bool have_weight = (bool)BLI_findlink(&tgpf->ob->defbase, def_nr);
1065
1066   if ((ts->gpencil_flags & GP_TOOL_FLAG_CREATE_WEIGHTS) && (have_weight)) {
1067     BKE_gpencil_dvert_ensure(gps);
1068     dvert = gps->dvert;
1069   }
1070
1071   for (int i = 0; i < tgpf->sbuffer_size && point2D; i++, point2D++, pt++) {
1072     /* convert screen-coordinates to 3D coordinates */
1073     gp_stroke_convertcoords_tpoint(tgpf->scene,
1074                                    tgpf->ar,
1075                                    tgpf->ob,
1076                                    tgpf->gpl,
1077                                    point2D,
1078                                    tgpf->depth_arr ? tgpf->depth_arr + i : NULL,
1079                                    &pt->x);
1080
1081     pt->pressure = 1.0f;
1082     pt->strength = 1.0f;
1083     pt->time = 0.0f;
1084
1085     if ((ts->gpencil_flags & GP_TOOL_FLAG_CREATE_WEIGHTS) && (have_weight)) {
1086       MDeformWeight *dw = defvert_verify_index(dvert, def_nr);
1087       if (dw) {
1088         dw->weight = ts->vgroup_weight;
1089       }
1090
1091       dvert++;
1092     }
1093     else {
1094       if (dvert != NULL) {
1095         dvert->totweight = 0;
1096         dvert->dw = NULL;
1097         dvert++;
1098       }
1099     }
1100   }
1101
1102   /* smooth stroke */
1103   float reduce = 0.0f;
1104   float smoothfac = 1.0f;
1105   for (int r = 0; r < 1; r++) {
1106     for (int i = 0; i < gps->totpoints; i++) {
1107       BKE_gpencil_smooth_stroke(gps, i, smoothfac - reduce);
1108     }
1109     reduce += 0.25f;  // reduce the factor
1110   }
1111
1112   /* if axis locked, reproject to plane locked */
1113   if ((tgpf->lock_axis > GP_LOCKAXIS_VIEW) &&
1114       ((ts->gpencil_v3d_align & GP_PROJECT_DEPTH_VIEW) == 0)) {
1115     float origin[3];
1116     ED_gp_get_drawing_reference(tgpf->scene, tgpf->ob, tgpf->gpl, ts->gpencil_v3d_align, origin);
1117     ED_gp_project_stroke_to_plane(
1118         tgpf->scene, tgpf->ob, tgpf->rv3d, gps, origin, tgpf->lock_axis - 1);
1119   }
1120
1121   /* if parented change position relative to parent object */
1122   for (int a = 0; a < tgpf->sbuffer_size; a++) {
1123     pt = &gps->points[a];
1124     gp_apply_parent_point(tgpf->depsgraph, tgpf->ob, tgpf->gpd, tgpf->gpl, pt);
1125   }
1126
1127   /* if camera view, reproject flat to view to avoid perspective effect */
1128   if (is_camera) {
1129     ED_gpencil_project_stroke_to_view(tgpf->C, tgpf->gpl, gps);
1130   }
1131
1132   /* simplify stroke */
1133   for (int b = 0; b < tgpf->fill_simplylvl; b++) {
1134     BKE_gpencil_simplify_fixed(gps);
1135   }
1136 }
1137
1138 /* ----------------------- */
1139 /* Drawing                 */
1140 /* Helper: Draw status message while the user is running the operator */
1141 static void gpencil_fill_status_indicators(bContext *C, tGPDfill *UNUSED(tgpf))
1142 {
1143   const char *status_str = IFACE_("Fill: ESC/RMB cancel, LMB Fill, Shift Draw on Back");
1144   ED_workspace_status_text(C, status_str);
1145 }
1146
1147 /* draw boundary lines to see fill limits */
1148 static void gpencil_draw_boundary_lines(const bContext *UNUSED(C), tGPDfill *tgpf)
1149 {
1150   if (!tgpf->gpd) {
1151     return;
1152   }
1153   const float ink[4] = {1.0f, 0.0f, 0.0f, 1.0f};
1154   gp_draw_datablock(tgpf, ink);
1155 }
1156
1157 /* Drawing callback for modal operator in 3d mode */
1158 static void gpencil_fill_draw_3d(const bContext *C, ARegion *UNUSED(ar), void *arg)
1159 {
1160   tGPDfill *tgpf = (tGPDfill *)arg;
1161   /* draw only in the region that originated operator. This is required for multiwindow */
1162   ARegion *ar = CTX_wm_region(C);
1163   if (ar != tgpf->ar) {
1164     return;
1165   }
1166
1167   gpencil_draw_boundary_lines(C, tgpf);
1168 }
1169
1170 /* check if context is suitable for filling */
1171 static bool gpencil_fill_poll(bContext *C)
1172 {
1173   Object *obact = CTX_data_active_object(C);
1174
1175   if (ED_operator_regionactive(C)) {
1176     ScrArea *sa = CTX_wm_area(C);
1177     if (sa->spacetype == SPACE_VIEW3D) {
1178       if ((obact == NULL) || (obact->type != OB_GPENCIL) ||
1179           (obact->mode != OB_MODE_PAINT_GPENCIL)) {
1180         return false;
1181       }
1182
1183       return true;
1184     }
1185     else {
1186       CTX_wm_operator_poll_msg_set(C, "Active region not valid for filling operator");
1187       return false;
1188     }
1189   }
1190   else {
1191     CTX_wm_operator_poll_msg_set(C, "Active region not set");
1192     return false;
1193   }
1194 }
1195
1196 /* Allocate memory and initialize values */
1197 static tGPDfill *gp_session_init_fill(bContext *C, wmOperator *UNUSED(op))
1198 {
1199   tGPDfill *tgpf = MEM_callocN(sizeof(tGPDfill), "GPencil Fill Data");
1200
1201   /* define initial values */
1202   ToolSettings *ts = CTX_data_tool_settings(C);
1203   bGPdata *gpd = CTX_data_gpencil_data(C);
1204   Main *bmain = CTX_data_main(C);
1205
1206   /* set current scene and window info */
1207   tgpf->C = C;
1208   tgpf->bmain = CTX_data_main(C);
1209   tgpf->scene = CTX_data_scene(C);
1210   tgpf->ob = CTX_data_active_object(C);
1211   tgpf->sa = CTX_wm_area(C);
1212   tgpf->ar = CTX_wm_region(C);
1213   tgpf->rv3d = tgpf->ar->regiondata;
1214   tgpf->v3d = tgpf->sa->spacedata.first;
1215   tgpf->depsgraph = CTX_data_depsgraph(C);
1216   tgpf->win = CTX_wm_window(C);
1217
1218   /* set GP datablock */
1219   tgpf->gpd = gpd;
1220   tgpf->gpl = BKE_gpencil_layer_getactive(gpd);
1221   if (tgpf->gpl == NULL) {
1222     tgpf->gpl = BKE_gpencil_layer_addnew(tgpf->gpd, DATA_("GP_Layer"), true);
1223   }
1224   tgpf->lock_axis = ts->gp_sculpt.lock_axis;
1225
1226   tgpf->oldkey = -1;
1227   tgpf->sbuffer_size = 0;
1228   tgpf->sbuffer = NULL;
1229   tgpf->depth_arr = NULL;
1230
1231   /* save filling parameters */
1232   Brush *brush = BKE_paint_brush(&ts->gp_paint->paint);
1233   tgpf->flag = brush->gpencil_settings->flag;
1234   tgpf->fill_leak = brush->gpencil_settings->fill_leak;
1235   tgpf->fill_threshold = brush->gpencil_settings->fill_threshold;
1236   tgpf->fill_simplylvl = brush->gpencil_settings->fill_simplylvl;
1237   tgpf->fill_draw_mode = brush->gpencil_settings->fill_draw_mode;
1238   tgpf->fill_factor = (short)max_ii(1, min_ii((int)brush->gpencil_settings->fill_factor, 8));
1239
1240   int totcol = tgpf->ob->totcol;
1241
1242   /* get color info */
1243   Material *ma = BKE_gpencil_object_material_ensure_from_active_input_brush(
1244       bmain, tgpf->ob, brush);
1245
1246   tgpf->mat = ma;
1247
1248   /* check whether the material was newly added */
1249   if (totcol != tgpf->ob->totcol) {
1250     WM_event_add_notifier(C, NC_SPACE | ND_SPACE_PROPERTIES, NULL);
1251   }
1252
1253   /* init undo */
1254   gpencil_undo_init(tgpf->gpd);
1255
1256   /* return context data for running operator */
1257   return tgpf;
1258 }
1259
1260 /* end operator */
1261 static void gpencil_fill_exit(bContext *C, wmOperator *op)
1262 {
1263   Main *bmain = CTX_data_main(C);
1264   Object *ob = CTX_data_active_object(C);
1265
1266   /* clear undo stack */
1267   gpencil_undo_finish();
1268
1269   /* restore cursor to indicate end of fill */
1270   WM_cursor_modal_restore(CTX_wm_window(C));
1271
1272   tGPDfill *tgpf = op->customdata;
1273
1274   /* don't assume that operator data exists at all */
1275   if (tgpf) {
1276     /* clear status message area */
1277     ED_workspace_status_text(C, NULL);
1278
1279     MEM_SAFE_FREE(tgpf->sbuffer);
1280     MEM_SAFE_FREE(tgpf->depth_arr);
1281
1282     /* remove drawing handler */
1283     if (tgpf->draw_handle_3d) {
1284       ED_region_draw_cb_exit(tgpf->ar->type, tgpf->draw_handle_3d);
1285     }
1286
1287     /* delete temp image */
1288     if (tgpf->ima) {
1289       for (Image *ima = bmain->images.first; ima; ima = ima->id.next) {
1290         if (ima == tgpf->ima) {
1291           BLI_remlink(&bmain->images, ima);
1292           BKE_image_free(tgpf->ima);
1293           MEM_SAFE_FREE(tgpf->ima);
1294           break;
1295         }
1296       }
1297     }
1298
1299     /* finally, free memory used by temp data */
1300     MEM_freeN(tgpf);
1301   }
1302
1303   /* clear pointer */
1304   op->customdata = NULL;
1305
1306   /* drawing batch cache is dirty now */
1307   if ((ob) && (ob->type == OB_GPENCIL) && (ob->data)) {
1308     bGPdata *gpd2 = ob->data;
1309     DEG_id_tag_update(&gpd2->id, ID_RECALC_TRANSFORM | ID_RECALC_GEOMETRY);
1310     gpd2->flag |= GP_DATA_CACHE_IS_DIRTY;
1311   }
1312
1313   WM_event_add_notifier(C, NC_GPENCIL | NA_EDITED, NULL);
1314 }
1315
1316 static void gpencil_fill_cancel(bContext *C, wmOperator *op)
1317 {
1318   /* this is just a wrapper around exit() */
1319   gpencil_fill_exit(C, op);
1320 }
1321
1322 /* Init: Allocate memory and set init values */
1323 static int gpencil_fill_init(bContext *C, wmOperator *op)
1324 {
1325   tGPDfill *tgpf;
1326   /* cannot paint in locked layer */
1327   bGPdata *gpd = CTX_data_gpencil_data(C);
1328   bGPDlayer *gpl = BKE_gpencil_layer_getactive(gpd);
1329   if ((gpl) && (gpl->flag & GP_LAYER_LOCKED)) {
1330     return 0;
1331   }
1332
1333   /* check context */
1334   tgpf = op->customdata = gp_session_init_fill(C, op);
1335   if (tgpf == NULL) {
1336     /* something wasn't set correctly in context */
1337     gpencil_fill_exit(C, op);
1338     return 0;
1339   }
1340
1341   /* everything is now setup ok */
1342   return 1;
1343 }
1344
1345 /* start of interactive part of operator */
1346 static int gpencil_fill_invoke(bContext *C, wmOperator *op, const wmEvent *UNUSED(event))
1347 {
1348   tGPDfill *tgpf = NULL;
1349
1350   /* try to initialize context data needed */
1351   if (!gpencil_fill_init(C, op)) {
1352     gpencil_fill_exit(C, op);
1353     if (op->customdata) {
1354       MEM_freeN(op->customdata);
1355     }
1356     return OPERATOR_CANCELLED;
1357   }
1358   else {
1359     tgpf = op->customdata;
1360   }
1361
1362   /* Enable custom drawing handlers to show help lines */
1363   if (tgpf->flag & GP_BRUSH_FILL_SHOW_HELPLINES) {
1364     tgpf->draw_handle_3d = ED_region_draw_cb_activate(
1365         tgpf->ar->type, gpencil_fill_draw_3d, tgpf, REGION_DRAW_POST_VIEW);
1366   }
1367
1368   WM_cursor_modal_set(CTX_wm_window(C), BC_PAINTBRUSHCURSOR);
1369
1370   gpencil_fill_status_indicators(C, tgpf);
1371
1372   DEG_id_tag_update(&tgpf->gpd->id, ID_RECALC_TRANSFORM | ID_RECALC_GEOMETRY);
1373   WM_event_add_notifier(C, NC_GPENCIL | NA_EDITED, NULL);
1374
1375   /* add a modal handler for this operator*/
1376   WM_event_add_modal_handler(C, op);
1377
1378   return OPERATOR_RUNNING_MODAL;
1379 }
1380
1381 /* events handling during interactive part of operator */
1382 static int gpencil_fill_modal(bContext *C, wmOperator *op, const wmEvent *event)
1383 {
1384   tGPDfill *tgpf = op->customdata;
1385
1386   int estate = OPERATOR_PASS_THROUGH; /* default exit state - pass through */
1387
1388   switch (event->type) {
1389     case ESCKEY:
1390     case RIGHTMOUSE:
1391       estate = OPERATOR_CANCELLED;
1392       break;
1393     case LEFTMOUSE:
1394       tgpf->on_back = RNA_boolean_get(op->ptr, "on_back");
1395       /* first time the event is not enabled to show help lines */
1396       if ((tgpf->oldkey != -1) || ((tgpf->flag & GP_BRUSH_FILL_SHOW_HELPLINES) == 0)) {
1397         ARegion *ar = BKE_area_find_region_xy(CTX_wm_area(C), RGN_TYPE_ANY, event->x, event->y);
1398         if (ar) {
1399           bool in_bounds = false;
1400
1401           /* Perform bounds check */
1402           in_bounds = BLI_rcti_isect_pt(&ar->winrct, event->x, event->y);
1403
1404           if ((in_bounds) && (ar->regiontype == RGN_TYPE_WINDOW)) {
1405             /* TODO GPXX: Verify the mouse click is right for any window size */
1406             tgpf->center[0] = event->mval[0];
1407             tgpf->center[1] = event->mval[1];
1408
1409             /* render screen to temp image */
1410             if (gp_render_offscreen(tgpf)) {
1411
1412               /* apply boundary fill */
1413               gpencil_boundaryfill_area(tgpf);
1414
1415               /* clean borders to avoid infinite loops */
1416               gpencil_clean_borders(tgpf);
1417
1418               /* analyze outline */
1419               gpencil_get_outline_points(tgpf);
1420
1421               /* create array of points from stack */
1422               gpencil_points_from_stack(tgpf);
1423
1424               /* create z-depth array for reproject */
1425               gpencil_get_depth_array(tgpf);
1426
1427               /* create stroke and reproject */
1428               gpencil_stroke_from_buffer(tgpf);
1429             }
1430
1431             /* restore size */
1432             tgpf->ar->winx = (short)tgpf->bwinx;
1433             tgpf->ar->winy = (short)tgpf->bwiny;
1434             tgpf->ar->winrct = tgpf->brect;
1435
1436             /* free temp stack data */
1437             if (tgpf->stack) {
1438               BLI_stack_free(tgpf->stack);
1439             }
1440
1441             /* push undo data */
1442             gpencil_undo_push(tgpf->gpd);
1443
1444             estate = OPERATOR_FINISHED;
1445           }
1446           else {
1447             estate = OPERATOR_CANCELLED;
1448           }
1449         }
1450         else {
1451           estate = OPERATOR_CANCELLED;
1452         }
1453       }
1454       tgpf->oldkey = event->type;
1455       break;
1456   }
1457   /* process last operations before exiting */
1458   switch (estate) {
1459     case OPERATOR_FINISHED:
1460       gpencil_fill_exit(C, op);
1461       WM_event_add_notifier(C, NC_GPENCIL | NA_EDITED, NULL);
1462       break;
1463
1464     case OPERATOR_CANCELLED:
1465       gpencil_fill_exit(C, op);
1466       break;
1467
1468     case OPERATOR_RUNNING_MODAL | OPERATOR_PASS_THROUGH:
1469       break;
1470   }
1471
1472   /* return status code */
1473   return estate;
1474 }
1475
1476 void GPENCIL_OT_fill(wmOperatorType *ot)
1477 {
1478   PropertyRNA *prop;
1479
1480   /* identifiers */
1481   ot->name = "Grease Pencil Fill";
1482   ot->idname = "GPENCIL_OT_fill";
1483   ot->description = "Fill with color the shape formed by strokes";
1484
1485   /* api callbacks */
1486   ot->invoke = gpencil_fill_invoke;
1487   ot->modal = gpencil_fill_modal;
1488   ot->poll = gpencil_fill_poll;
1489   ot->cancel = gpencil_fill_cancel;
1490
1491   /* flags */
1492   ot->flag = OPTYPE_UNDO | OPTYPE_BLOCKING;
1493
1494   prop = RNA_def_boolean(ot->srna, "on_back", false, "Draw On Back", "Send new stroke to Back");
1495   RNA_def_property_flag(prop, PROP_SKIP_SAVE);
1496 }