GPencil: Split Primitive operators and add number of points to Topbar
[blender.git] / source / blender / blenkernel / intern / sequencer.c
1 /*
2  * This program is free software; you can redistribute it and/or
3  * modify it under the terms of the GNU General Public License
4  * as published by the Free Software Foundation; either version 2
5  * of the License, or (at your option) any later version.
6  *
7  * This program is distributed in the hope that it will be useful,
8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
10  * GNU General Public License for more details.
11  *
12  * You should have received a copy of the GNU General Public License
13  * along with this program; if not, write to the Free Software Foundation,
14  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
15  *
16  * The Original Code is Copyright (C) 2001-2002 by NaN Holding BV.
17  * All rights reserved.
18  *
19  * - Blender Foundation, 2003-2009
20  * - Peter Schlaile <peter [at] schlaile [dot] de> 2005/2006
21  */
22
23 /** \file
24  * \ingroup bke
25  */
26
27 #include <stddef.h>
28 #include <stdlib.h>
29 #include <string.h>
30 #include <time.h>
31
32 #include "MEM_guardedalloc.h"
33
34 #include "DNA_anim_types.h"
35 #include "DNA_mask_types.h"
36 #include "DNA_movieclip_types.h"
37 #include "DNA_object_types.h"
38 #include "DNA_scene_types.h"
39 #include "DNA_sequence_types.h"
40 #include "DNA_sound_types.h"
41 #include "DNA_space_types.h"
42 #include "DNA_windowmanager_types.h"
43
44 #include "BLI_fileops.h"
45 #include "BLI_linklist.h"
46 #include "BLI_listbase.h"
47 #include "BLI_math.h"
48 #include "BLI_path_util.h"
49 #include "BLI_session_uuid.h"
50 #include "BLI_string.h"
51 #include "BLI_string_utf8.h"
52 #include "BLI_threads.h"
53 #include "BLI_utildefines.h"
54
55 #ifdef WIN32
56 #  include "BLI_winstuff.h"
57 #else
58 #  include <unistd.h>
59 #endif
60
61 #include "BLT_translation.h"
62
63 #include "BKE_anim_data.h"
64 #include "BKE_animsys.h"
65 #include "BKE_fcurve.h"
66 #include "BKE_global.h"
67 #include "BKE_idprop.h"
68 #include "BKE_image.h"
69 #include "BKE_layer.h"
70 #include "BKE_lib_id.h"
71 #include "BKE_main.h"
72 #include "BKE_mask.h"
73 #include "BKE_movieclip.h"
74 #include "BKE_report.h"
75 #include "BKE_scene.h"
76 #include "BKE_sequencer.h"
77 #include "BKE_sequencer_offscreen.h"
78
79 #include "DEG_depsgraph.h"
80 #include "DEG_depsgraph_query.h"
81
82 #include "RNA_access.h"
83
84 #include "RE_pipeline.h"
85
86 #include <pthread.h>
87
88 #include "IMB_colormanagement.h"
89 #include "IMB_imbuf.h"
90 #include "IMB_imbuf_types.h"
91 #include "IMB_metadata.h"
92
93 #include "BKE_context.h"
94 #include "BKE_sound.h"
95
96 #include "RE_engine.h"
97
98 #ifdef WITH_AUDASPACE
99 #  include <AUD_Special.h>
100 #endif
101
102 /* mutable state for sequencer */
103 typedef struct SeqRenderState {
104   LinkNode *scene_parents;
105 } SeqRenderState;
106
107 static ImBuf *seq_render_strip_stack(const SeqRenderData *context,
108                                      SeqRenderState *state,
109                                      ListBase *seqbasep,
110                                      float cfra,
111                                      int chanshown);
112 static ImBuf *seq_render_preprocess_ibuf(const SeqRenderData *context,
113                                          Sequence *seq,
114                                          ImBuf *ibuf,
115                                          float cfra,
116                                          clock_t begin,
117                                          bool use_preprocess,
118                                          const bool is_proxy_image);
119 static ImBuf *seq_render_strip(const SeqRenderData *context,
120                                SeqRenderState *state,
121                                Sequence *seq,
122                                float cfra);
123 static void seq_free_animdata(Scene *scene, Sequence *seq);
124 static ImBuf *seq_render_mask(const SeqRenderData *context, Mask *mask, float nr, bool make_float);
125 static int seq_num_files(Scene *scene, char views_format, const bool is_multiview);
126 static void seq_anim_add_suffix(Scene *scene, struct anim *anim, const int view_id);
127
128 static ThreadMutex seq_render_mutex = BLI_MUTEX_INITIALIZER;
129
130 /* **** XXX ******** */
131 #define SELECT 1
132 ListBase seqbase_clipboard;
133 int seqbase_clipboard_frame;
134
135 SequencerDrawView sequencer_view3d_fn = NULL; /* NULL in background mode */
136
137 #if 0 /* unused function */
138 static void printf_strip(Sequence *seq)
139 {
140   fprintf(stderr,
141           "name: '%s', len:%d, start:%d, (startofs:%d, endofs:%d), "
142           "(startstill:%d, endstill:%d), machine:%d, (startdisp:%d, enddisp:%d)\n",
143           seq->name,
144           seq->len,
145           seq->start,
146           seq->startofs,
147           seq->endofs,
148           seq->startstill,
149           seq->endstill,
150           seq->machine,
151           seq->startdisp,
152           seq->enddisp);
153
154   fprintf(stderr,
155           "\tseq_tx_set_final_left: %d %d\n\n",
156           seq_tx_get_final_left(seq, 0),
157           seq_tx_get_final_right(seq, 0));
158 }
159 #endif
160
161 static void sequencer_state_init(SeqRenderState *state)
162 {
163   state->scene_parents = NULL;
164 }
165
166 int BKE_sequencer_base_recursive_apply(ListBase *seqbase,
167                                        int (*apply_fn)(Sequence *seq, void *),
168                                        void *arg)
169 {
170   Sequence *iseq;
171   for (iseq = seqbase->first; iseq; iseq = iseq->next) {
172     if (BKE_sequencer_recursive_apply(iseq, apply_fn, arg) == -1) {
173       return -1; /* bail out */
174     }
175   }
176   return 1;
177 }
178
179 int BKE_sequencer_recursive_apply(Sequence *seq, int (*apply_fn)(Sequence *, void *), void *arg)
180 {
181   int ret = apply_fn(seq, arg);
182
183   if (ret == -1) {
184     return -1; /* bail out */
185   }
186
187   if (ret && seq->seqbase.first) {
188     ret = BKE_sequencer_base_recursive_apply(&seq->seqbase, apply_fn, arg);
189   }
190
191   return ret;
192 }
193
194 /*********************** alloc / free functions *************************/
195
196 /* free */
197
198 static void free_proxy_seq(Sequence *seq)
199 {
200   if (seq->strip && seq->strip->proxy && seq->strip->proxy->anim) {
201     IMB_free_anim(seq->strip->proxy->anim);
202     seq->strip->proxy->anim = NULL;
203   }
204 }
205
206 static void seq_free_strip(Strip *strip)
207 {
208   strip->us--;
209   if (strip->us > 0) {
210     return;
211   }
212   if (strip->us < 0) {
213     printf("error: negative users in strip\n");
214     return;
215   }
216
217   if (strip->stripdata) {
218     MEM_freeN(strip->stripdata);
219   }
220
221   if (strip->proxy) {
222     if (strip->proxy->anim) {
223       IMB_free_anim(strip->proxy->anim);
224     }
225
226     MEM_freeN(strip->proxy);
227   }
228   if (strip->crop) {
229     MEM_freeN(strip->crop);
230   }
231   if (strip->transform) {
232     MEM_freeN(strip->transform);
233   }
234
235   MEM_freeN(strip);
236 }
237
238 /* only give option to skip cache locally (static func) */
239 static void BKE_sequence_free_ex(Scene *scene,
240                                  Sequence *seq,
241                                  const bool do_cache,
242                                  const bool do_id_user,
243                                  const bool do_clean_animdata)
244 {
245   if (seq->strip) {
246     seq_free_strip(seq->strip);
247   }
248
249   BKE_sequence_free_anim(seq);
250
251   if (seq->type & SEQ_TYPE_EFFECT) {
252     struct SeqEffectHandle sh = BKE_sequence_get_effect(seq);
253     sh.free(seq, do_id_user);
254   }
255
256   if (seq->sound && do_id_user) {
257     id_us_min(((ID *)seq->sound));
258   }
259
260   if (seq->stereo3d_format) {
261     MEM_freeN(seq->stereo3d_format);
262   }
263
264   /* clipboard has no scene and will never have a sound handle or be active
265    * same goes to sequences copy for proxy rebuild job
266    */
267   if (scene) {
268     Editing *ed = scene->ed;
269
270     if (ed->act_seq == seq) {
271       ed->act_seq = NULL;
272     }
273
274     if (seq->scene_sound && ELEM(seq->type, SEQ_TYPE_SOUND_RAM, SEQ_TYPE_SCENE)) {
275       BKE_sound_remove_scene_sound(scene, seq->scene_sound);
276     }
277
278     /* XXX This must not be done in BKE code. */
279     if (do_clean_animdata) {
280       seq_free_animdata(scene, seq);
281     }
282   }
283
284   if (seq->prop) {
285     IDP_FreePropertyContent_ex(seq->prop, do_id_user);
286     MEM_freeN(seq->prop);
287   }
288
289   /* free modifiers */
290   BKE_sequence_modifier_clear(seq);
291
292   /* free cached data used by this strip,
293    * also invalidate cache for all dependent sequences
294    *
295    * be _very_ careful here, invalidating cache loops over the scene sequences and
296    * assumes the listbase is valid for all strips,
297    * this may not be the case if lists are being freed.
298    * this is optional BKE_sequence_invalidate_cache
299    */
300   if (do_cache) {
301     if (scene) {
302       BKE_sequence_invalidate_cache_raw(scene, seq);
303     }
304   }
305
306   MEM_freeN(seq);
307 }
308
309 void BKE_sequence_free(Scene *scene, Sequence *seq, const bool do_clean_animdata)
310 {
311   BKE_sequence_free_ex(scene, seq, true, true, do_clean_animdata);
312 }
313
314 /* Function to free imbuf and anim data on changes */
315 void BKE_sequence_free_anim(Sequence *seq)
316 {
317   while (seq->anims.last) {
318     StripAnim *sanim = seq->anims.last;
319
320     if (sanim->anim) {
321       IMB_free_anim(sanim->anim);
322       sanim->anim = NULL;
323     }
324
325     BLI_freelinkN(&seq->anims, sanim);
326   }
327   BLI_listbase_clear(&seq->anims);
328 }
329
330 /* cache must be freed before calling this function
331  * since it leaves the seqbase in an invalid state */
332 static void seq_free_sequence_recurse(Scene *scene, Sequence *seq, const bool do_id_user)
333 {
334   Sequence *iseq, *iseq_next;
335
336   for (iseq = seq->seqbase.first; iseq; iseq = iseq_next) {
337     iseq_next = iseq->next;
338     seq_free_sequence_recurse(scene, iseq, do_id_user);
339   }
340
341   BKE_sequence_free_ex(scene, seq, false, do_id_user, true);
342 }
343
344 Editing *BKE_sequencer_editing_get(Scene *scene, bool alloc)
345 {
346   if (alloc) {
347     BKE_sequencer_editing_ensure(scene);
348   }
349   return scene->ed;
350 }
351
352 void BKE_sequencer_free_clipboard(void)
353 {
354   Sequence *seq, *nseq;
355
356   BKE_sequencer_base_clipboard_pointers_free(&seqbase_clipboard);
357
358   for (seq = seqbase_clipboard.first; seq; seq = nseq) {
359     nseq = seq->next;
360     seq_free_sequence_recurse(NULL, seq, false);
361   }
362   BLI_listbase_clear(&seqbase_clipboard);
363 }
364
365 /* -------------------------------------------------------------------- */
366 /* Manage pointers in the clipboard.
367  * note that these pointers should _never_ be access in the sequencer,
368  * they are only for storage while in the clipboard
369  * notice 'newid' is used for temp pointer storage here, validate on access (this is safe usage,
370  * since those data-blocks are fully out of Main lists).
371  */
372 #define ID_PT (*id_pt)
373 static void seqclipboard_ptr_free(Main *UNUSED(bmain), ID **id_pt)
374 {
375   if (ID_PT) {
376     BLI_assert(ID_PT->newid != NULL);
377     MEM_freeN(ID_PT);
378     ID_PT = NULL;
379   }
380 }
381 static void seqclipboard_ptr_store(Main *UNUSED(bmain), ID **id_pt)
382 {
383   if (ID_PT) {
384     ID *id_prev = ID_PT;
385     ID_PT = MEM_dupallocN(ID_PT);
386     ID_PT->newid = id_prev;
387   }
388 }
389 static void seqclipboard_ptr_restore(Main *bmain, ID **id_pt)
390 {
391   if (ID_PT) {
392     const ListBase *lb = which_libbase(bmain, GS(ID_PT->name));
393     void *id_restore;
394
395     BLI_assert(ID_PT->newid != NULL);
396     if (BLI_findindex(lb, (ID_PT)->newid) != -1) {
397       /* the pointer is still valid */
398       id_restore = (ID_PT)->newid;
399     }
400     else {
401       /* the pointer of the same name still exists  */
402       id_restore = BLI_findstring(lb, (ID_PT)->name + 2, offsetof(ID, name) + 2);
403     }
404
405     if (id_restore == NULL) {
406       /* check for a data with the same filename */
407       switch (GS(ID_PT->name)) {
408         case ID_SO: {
409           id_restore = BLI_findstring(lb, ((bSound *)ID_PT)->filepath, offsetof(bSound, filepath));
410           if (id_restore == NULL) {
411             id_restore = BKE_sound_new_file(bmain, ((bSound *)ID_PT)->filepath);
412             (ID_PT)->newid = id_restore; /* reuse next time */
413           }
414           break;
415         }
416         case ID_MC: {
417           id_restore = BLI_findstring(
418               lb, ((MovieClip *)ID_PT)->filepath, offsetof(MovieClip, filepath));
419           if (id_restore == NULL) {
420             id_restore = BKE_movieclip_file_add(bmain, ((MovieClip *)ID_PT)->filepath);
421             (ID_PT)->newid = id_restore; /* reuse next time */
422           }
423           break;
424         }
425         default:
426           break;
427       }
428     }
429
430     /* Replace with pointer to actual data-block. */
431     seqclipboard_ptr_free(bmain, id_pt);
432     ID_PT = id_restore;
433   }
434 }
435 #undef ID_PT
436
437 static void sequence_clipboard_pointers(Main *bmain,
438                                         Sequence *seq,
439                                         void (*callback)(Main *, ID **))
440 {
441   callback(bmain, (ID **)&seq->scene);
442   callback(bmain, (ID **)&seq->scene_camera);
443   callback(bmain, (ID **)&seq->clip);
444   callback(bmain, (ID **)&seq->mask);
445   callback(bmain, (ID **)&seq->sound);
446
447   if (seq->type == SEQ_TYPE_TEXT && seq->effectdata) {
448     TextVars *text_data = seq->effectdata;
449     callback(bmain, (ID **)&text_data->text_font);
450   }
451 }
452
453 /* recursive versions of functions above */
454 void BKE_sequencer_base_clipboard_pointers_free(ListBase *seqbase)
455 {
456   Sequence *seq;
457   for (seq = seqbase->first; seq; seq = seq->next) {
458     sequence_clipboard_pointers(NULL, seq, seqclipboard_ptr_free);
459     BKE_sequencer_base_clipboard_pointers_free(&seq->seqbase);
460   }
461 }
462 void BKE_sequencer_base_clipboard_pointers_store(Main *bmain, ListBase *seqbase)
463 {
464   Sequence *seq;
465   for (seq = seqbase->first; seq; seq = seq->next) {
466     sequence_clipboard_pointers(bmain, seq, seqclipboard_ptr_store);
467     BKE_sequencer_base_clipboard_pointers_store(bmain, &seq->seqbase);
468   }
469 }
470 void BKE_sequencer_base_clipboard_pointers_restore(ListBase *seqbase, Main *bmain)
471 {
472   Sequence *seq;
473   for (seq = seqbase->first; seq; seq = seq->next) {
474     sequence_clipboard_pointers(bmain, seq, seqclipboard_ptr_restore);
475     BKE_sequencer_base_clipboard_pointers_restore(&seq->seqbase, bmain);
476   }
477 }
478
479 /* end clipboard pointer mess */
480
481 Editing *BKE_sequencer_editing_ensure(Scene *scene)
482 {
483   if (scene->ed == NULL) {
484     Editing *ed;
485
486     ed = scene->ed = MEM_callocN(sizeof(Editing), "addseq");
487     ed->seqbasep = &ed->seqbase;
488     ed->cache = NULL;
489     ed->cache_flag = SEQ_CACHE_STORE_FINAL_OUT;
490     ed->cache_flag |= SEQ_CACHE_VIEW_FINAL_OUT;
491     ed->cache_flag |= SEQ_CACHE_VIEW_ENABLE;
492     ed->recycle_max_cost = 10.0f;
493   }
494
495   return scene->ed;
496 }
497
498 void BKE_sequencer_editing_free(Scene *scene, const bool do_id_user)
499 {
500   Editing *ed = scene->ed;
501   Sequence *seq;
502
503   if (ed == NULL) {
504     return;
505   }
506
507   BKE_sequencer_prefetch_free(scene);
508   BKE_sequencer_cache_destruct(scene);
509
510   SEQ_BEGIN (ed, seq) {
511     /* handle cache freeing above */
512     BKE_sequence_free_ex(scene, seq, false, do_id_user, false);
513   }
514   SEQ_END;
515
516   BLI_freelistN(&ed->metastack);
517   MEM_freeN(ed);
518
519   scene->ed = NULL;
520 }
521
522 /*********************** Sequencer color space functions  *************************/
523
524 static void sequencer_imbuf_assign_spaces(Scene *scene, ImBuf *ibuf)
525 {
526 #if 0
527   /* Bute buffer is supposed to be in sequencer working space already. */
528   if (ibuf->rect != NULL) {
529     IMB_colormanagement_assign_rect_colorspace(ibuf, scene->sequencer_colorspace_settings.name);
530   }
531 #endif
532   if (ibuf->rect_float != NULL) {
533     IMB_colormanagement_assign_float_colorspace(ibuf, scene->sequencer_colorspace_settings.name);
534   }
535 }
536
537 void BKE_sequencer_imbuf_to_sequencer_space(Scene *scene, ImBuf *ibuf, bool make_float)
538 {
539   /* Early output check: if both buffers are NULL we have nothing to convert. */
540   if (ibuf->rect_float == NULL && ibuf->rect == NULL) {
541     return;
542   }
543   /* Get common conversion settings. */
544   const char *to_colorspace = scene->sequencer_colorspace_settings.name;
545   /* Perform actual conversion logic. */
546   if (ibuf->rect_float == NULL) {
547     /* We are not requested to give float buffer and byte buffer is already
548      * in thee required colorspace. Can skip doing anything here.
549      */
550     const char *from_colorspace = IMB_colormanagement_get_rect_colorspace(ibuf);
551     if (!make_float && STREQ(from_colorspace, to_colorspace)) {
552       return;
553     }
554     if (false) {
555       /* The idea here is to provide as fast playback as possible and
556        * enforcing float buffer here (a) uses more cache memory (b) might
557        * make some other effects slower to apply.
558        *
559        * However, this might also have negative effect by adding weird
560        * artifacts which will then not happen in final render.
561        */
562       IMB_colormanagement_transform_byte_threaded((unsigned char *)ibuf->rect,
563                                                   ibuf->x,
564                                                   ibuf->y,
565                                                   ibuf->channels,
566                                                   from_colorspace,
567                                                   to_colorspace);
568     }
569     else {
570       /* We perform conversion to a float buffer so we don't worry about
571        * precision loss.
572        */
573       imb_addrectfloatImBuf(ibuf);
574       IMB_colormanagement_transform_from_byte_threaded(ibuf->rect_float,
575                                                        (unsigned char *)ibuf->rect,
576                                                        ibuf->x,
577                                                        ibuf->y,
578                                                        ibuf->channels,
579                                                        from_colorspace,
580                                                        to_colorspace);
581       /* We don't need byte buffer anymore. */
582       imb_freerectImBuf(ibuf);
583     }
584   }
585   else {
586     const char *from_colorspace = IMB_colormanagement_get_float_colorspace(ibuf);
587     /* Unknown input color space, can't perform conversion. */
588     if (from_colorspace == NULL || from_colorspace[0] == '\0') {
589       return;
590     }
591     /* We don't want both byte and float buffers around: they'll either run
592      * out of sync or conversion of byte buffer will loose precision in there.
593      */
594     if (ibuf->rect != NULL) {
595       imb_freerectImBuf(ibuf);
596     }
597     IMB_colormanagement_transform_threaded(
598         ibuf->rect_float, ibuf->x, ibuf->y, ibuf->channels, from_colorspace, to_colorspace, true);
599   }
600   sequencer_imbuf_assign_spaces(scene, ibuf);
601 }
602
603 void BKE_sequencer_imbuf_from_sequencer_space(Scene *scene, ImBuf *ibuf)
604 {
605   const char *from_colorspace = scene->sequencer_colorspace_settings.name;
606   const char *to_colorspace = IMB_colormanagement_role_colorspace_name_get(
607       COLOR_ROLE_SCENE_LINEAR);
608
609   if (!ibuf->rect_float) {
610     return;
611   }
612
613   if (to_colorspace && to_colorspace[0] != '\0') {
614     IMB_colormanagement_transform_threaded(
615         ibuf->rect_float, ibuf->x, ibuf->y, ibuf->channels, from_colorspace, to_colorspace, true);
616     IMB_colormanagement_assign_float_colorspace(ibuf, to_colorspace);
617   }
618 }
619
620 void BKE_sequencer_pixel_from_sequencer_space_v4(struct Scene *scene, float pixel[4])
621 {
622   const char *from_colorspace = scene->sequencer_colorspace_settings.name;
623   const char *to_colorspace = IMB_colormanagement_role_colorspace_name_get(
624       COLOR_ROLE_SCENE_LINEAR);
625
626   if (to_colorspace && to_colorspace[0] != '\0') {
627     IMB_colormanagement_transform_v4(pixel, from_colorspace, to_colorspace);
628   }
629   else {
630     /* if no color management enables fallback to legacy conversion */
631     srgb_to_linearrgb_v4(pixel, pixel);
632   }
633 }
634
635 /*********************** sequencer pipeline functions *************************/
636
637 void BKE_sequencer_new_render_data(Main *bmain,
638                                    struct Depsgraph *depsgraph,
639                                    Scene *scene,
640                                    int rectx,
641                                    int recty,
642                                    int preview_render_size,
643                                    int for_render,
644                                    SeqRenderData *r_context)
645 {
646   r_context->bmain = bmain;
647   r_context->depsgraph = depsgraph;
648   r_context->scene = scene;
649   r_context->rectx = rectx;
650   r_context->recty = recty;
651   r_context->preview_render_size = preview_render_size;
652   r_context->for_render = for_render;
653   r_context->motion_blur_samples = 0;
654   r_context->motion_blur_shutter = 0;
655   r_context->skip_cache = false;
656   r_context->is_proxy_render = false;
657   r_context->view_id = 0;
658   r_context->gpu_offscreen = NULL;
659   r_context->task_id = SEQ_TASK_MAIN_RENDER;
660   r_context->is_prefetch_render = false;
661 }
662
663 /* ************************* iterator ************************** */
664 /* *************** (replaces old WHILE_SEQ) ********************* */
665 /* **************** use now SEQ_BEGIN () SEQ_END ***************** */
666
667 /* sequence strip iterator:
668  * - builds a full array, recursively into meta strips
669  */
670
671 static void seq_count(ListBase *seqbase, int *tot)
672 {
673   Sequence *seq;
674
675   for (seq = seqbase->first; seq; seq = seq->next) {
676     (*tot)++;
677
678     if (seq->seqbase.first) {
679       seq_count(&seq->seqbase, tot);
680     }
681   }
682 }
683
684 static void seq_build_array(ListBase *seqbase, Sequence ***array, int depth)
685 {
686   Sequence *seq;
687
688   for (seq = seqbase->first; seq; seq = seq->next) {
689     seq->depth = depth;
690
691     if (seq->seqbase.first) {
692       seq_build_array(&seq->seqbase, array, depth + 1);
693     }
694
695     **array = seq;
696     (*array)++;
697   }
698 }
699
700 static void seq_array(Editing *ed, Sequence ***seqarray, int *tot, bool use_pointer)
701 {
702   Sequence **array;
703
704   *seqarray = NULL;
705   *tot = 0;
706
707   if (ed == NULL) {
708     return;
709   }
710
711   if (use_pointer) {
712     seq_count(ed->seqbasep, tot);
713   }
714   else {
715     seq_count(&ed->seqbase, tot);
716   }
717
718   if (*tot == 0) {
719     return;
720   }
721
722   *seqarray = array = MEM_mallocN(sizeof(Sequence *) * (*tot), "SeqArray");
723   if (use_pointer) {
724     seq_build_array(ed->seqbasep, &array, 0);
725   }
726   else {
727     seq_build_array(&ed->seqbase, &array, 0);
728   }
729 }
730
731 void BKE_sequence_iterator_begin(Editing *ed, SeqIterator *iter, bool use_pointer)
732 {
733   memset(iter, 0, sizeof(*iter));
734   seq_array(ed, &iter->array, &iter->tot, use_pointer);
735
736   if (iter->tot) {
737     iter->cur = 0;
738     iter->seq = iter->array[iter->cur];
739     iter->valid = 1;
740   }
741 }
742
743 void BKE_sequence_iterator_next(SeqIterator *iter)
744 {
745   if (++iter->cur < iter->tot) {
746     iter->seq = iter->array[iter->cur];
747   }
748   else {
749     iter->valid = 0;
750   }
751 }
752
753 void BKE_sequence_iterator_end(SeqIterator *iter)
754 {
755   if (iter->array) {
756     MEM_freeN(iter->array);
757   }
758
759   iter->valid = 0;
760 }
761
762 static int metaseq_start(Sequence *metaseq)
763 {
764   return metaseq->start + metaseq->startofs;
765 }
766
767 static int metaseq_end(Sequence *metaseq)
768 {
769   return metaseq->start + metaseq->len - metaseq->endofs;
770 }
771
772 static void seq_update_sound_bounds_recursive_impl(Scene *scene,
773                                                    Sequence *metaseq,
774                                                    int start,
775                                                    int end)
776 {
777   Sequence *seq;
778
779   /* for sound we go over full meta tree to update bounds of the sound strips,
780    * since sound is played outside of evaluating the imbufs, */
781   for (seq = metaseq->seqbase.first; seq; seq = seq->next) {
782     if (seq->type == SEQ_TYPE_META) {
783       seq_update_sound_bounds_recursive_impl(
784           scene, seq, max_ii(start, metaseq_start(seq)), min_ii(end, metaseq_end(seq)));
785     }
786     else if (ELEM(seq->type, SEQ_TYPE_SOUND_RAM, SEQ_TYPE_SCENE)) {
787       if (seq->scene_sound) {
788         int startofs = seq->startofs;
789         int endofs = seq->endofs;
790         if (seq->startofs + seq->start < start) {
791           startofs = start - seq->start;
792         }
793
794         if (seq->start + seq->len - seq->endofs > end) {
795           endofs = seq->start + seq->len - end;
796         }
797
798         BKE_sound_move_scene_sound(scene,
799                                    seq->scene_sound,
800                                    seq->start + startofs,
801                                    seq->start + seq->len - endofs,
802                                    startofs + seq->anim_startofs);
803       }
804     }
805   }
806 }
807
808 static void seq_update_sound_bounds_recursive(Scene *scene, Sequence *metaseq)
809 {
810   seq_update_sound_bounds_recursive_impl(
811       scene, metaseq, metaseq_start(metaseq), metaseq_end(metaseq));
812 }
813
814 void BKE_sequence_calc_disp(Scene *scene, Sequence *seq)
815 {
816   if (seq->startofs && seq->startstill) {
817     seq->startstill = 0;
818   }
819   if (seq->endofs && seq->endstill) {
820     seq->endstill = 0;
821   }
822
823   seq->startdisp = seq->start + seq->startofs - seq->startstill;
824   seq->enddisp = seq->start + seq->len - seq->endofs + seq->endstill;
825
826   if (seq->type == SEQ_TYPE_META) {
827     seq_update_sound_bounds_recursive(scene, seq);
828   }
829 }
830
831 void BKE_sequence_calc(Scene *scene, Sequence *seq)
832 {
833   Sequence *seqm;
834   int min, max;
835
836   /* check all metas recursively */
837   seqm = seq->seqbase.first;
838   while (seqm) {
839     if (seqm->seqbase.first) {
840       BKE_sequence_calc(scene, seqm);
841     }
842     seqm = seqm->next;
843   }
844
845   /* effects and meta: automatic start and end */
846   if (seq->type & SEQ_TYPE_EFFECT) {
847     if (seq->seq1) {
848       seq->startofs = seq->endofs = seq->startstill = seq->endstill = 0;
849       if (seq->seq3) {
850         seq->start = seq->startdisp = max_iii(
851             seq->seq1->startdisp, seq->seq2->startdisp, seq->seq3->startdisp);
852         seq->enddisp = min_iii(seq->seq1->enddisp, seq->seq2->enddisp, seq->seq3->enddisp);
853       }
854       else if (seq->seq2) {
855         seq->start = seq->startdisp = max_ii(seq->seq1->startdisp, seq->seq2->startdisp);
856         seq->enddisp = min_ii(seq->seq1->enddisp, seq->seq2->enddisp);
857       }
858       else {
859         seq->start = seq->startdisp = seq->seq1->startdisp;
860         seq->enddisp = seq->seq1->enddisp;
861       }
862       /* we cant help if strips don't overlap, it wont give useful results.
863        * but at least ensure 'len' is never negative which causes bad bugs elsewhere. */
864       if (seq->enddisp < seq->startdisp) {
865         /* simple start/end swap */
866         seq->start = seq->enddisp;
867         seq->enddisp = seq->startdisp;
868         seq->startdisp = seq->start;
869         seq->flag |= SEQ_INVALID_EFFECT;
870       }
871       else {
872         seq->flag &= ~SEQ_INVALID_EFFECT;
873       }
874
875       seq->len = seq->enddisp - seq->startdisp;
876     }
877     else {
878       BKE_sequence_calc_disp(scene, seq);
879     }
880   }
881   else {
882     if (seq->type == SEQ_TYPE_META) {
883       seqm = seq->seqbase.first;
884       if (seqm) {
885         min = MAXFRAME * 2;
886         max = -MAXFRAME * 2;
887         while (seqm) {
888           if (seqm->startdisp < min) {
889             min = seqm->startdisp;
890           }
891           if (seqm->enddisp > max) {
892             max = seqm->enddisp;
893           }
894           seqm = seqm->next;
895         }
896         seq->start = min + seq->anim_startofs;
897         seq->len = max - min;
898         seq->len -= seq->anim_startofs;
899         seq->len -= seq->anim_endofs;
900       }
901       seq_update_sound_bounds_recursive(scene, seq);
902     }
903     BKE_sequence_calc_disp(scene, seq);
904   }
905 }
906
907 static void seq_multiview_name(Scene *scene,
908                                const int view_id,
909                                const char *prefix,
910                                const char *ext,
911                                char *r_path,
912                                size_t r_size)
913 {
914   const char *suffix = BKE_scene_multiview_view_id_suffix_get(&scene->r, view_id);
915   BLI_assert(ext != NULL && suffix != NULL && prefix != NULL);
916   BLI_snprintf(r_path, r_size, "%s%s%s", prefix, suffix, ext);
917 }
918
919 /* note: caller should run BKE_sequence_calc(scene, seq) after */
920 void BKE_sequence_reload_new_file(Main *bmain, Scene *scene, Sequence *seq, const bool lock_range)
921 {
922   char path[FILE_MAX];
923   int prev_startdisp = 0, prev_enddisp = 0;
924   /* note: don't rename the strip, will break animation curves */
925
926   if (ELEM(seq->type,
927            SEQ_TYPE_MOVIE,
928            SEQ_TYPE_IMAGE,
929            SEQ_TYPE_SOUND_RAM,
930            SEQ_TYPE_SCENE,
931            SEQ_TYPE_META,
932            SEQ_TYPE_MOVIECLIP,
933            SEQ_TYPE_MASK) == 0) {
934     return;
935   }
936
937   if (lock_range) {
938     /* keep so we don't have to move the actual start and end points (only the data) */
939     BKE_sequence_calc_disp(scene, seq);
940     prev_startdisp = seq->startdisp;
941     prev_enddisp = seq->enddisp;
942   }
943
944   switch (seq->type) {
945     case SEQ_TYPE_IMAGE: {
946       /* Hack? */
947       size_t olen = MEM_allocN_len(seq->strip->stripdata) / sizeof(StripElem);
948
949       seq->len = olen;
950       seq->len -= seq->anim_startofs;
951       seq->len -= seq->anim_endofs;
952       if (seq->len < 0) {
953         seq->len = 0;
954       }
955       break;
956     }
957     case SEQ_TYPE_MOVIE: {
958       StripAnim *sanim;
959       bool is_multiview_loaded = false;
960       const bool is_multiview = (seq->flag & SEQ_USE_VIEWS) != 0 &&
961                                 (scene->r.scemode & R_MULTIVIEW) != 0;
962
963       BLI_join_dirfile(path, sizeof(path), seq->strip->dir, seq->strip->stripdata->name);
964       BLI_path_abs(path, BKE_main_blendfile_path_from_global());
965
966       BKE_sequence_free_anim(seq);
967
968       if (is_multiview && (seq->views_format == R_IMF_VIEWS_INDIVIDUAL)) {
969         char prefix[FILE_MAX];
970         const char *ext = NULL;
971         const int totfiles = seq_num_files(scene, seq->views_format, true);
972         int i = 0;
973
974         BKE_scene_multiview_view_prefix_get(scene, path, prefix, &ext);
975
976         if (prefix[0] != '\0') {
977           for (i = 0; i < totfiles; i++) {
978             struct anim *anim;
979             char str[FILE_MAX];
980
981             seq_multiview_name(scene, i, prefix, ext, str, FILE_MAX);
982             anim = openanim(str,
983                             IB_rect | ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
984                             seq->streamindex,
985                             seq->strip->colorspace_settings.name);
986
987             if (anim) {
988               seq_anim_add_suffix(scene, anim, i);
989               sanim = MEM_mallocN(sizeof(StripAnim), "Strip Anim");
990               BLI_addtail(&seq->anims, sanim);
991               sanim->anim = anim;
992             }
993           }
994           is_multiview_loaded = true;
995         }
996       }
997
998       if (is_multiview_loaded == false) {
999         struct anim *anim;
1000         anim = openanim(path,
1001                         IB_rect | ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
1002                         seq->streamindex,
1003                         seq->strip->colorspace_settings.name);
1004         if (anim) {
1005           sanim = MEM_mallocN(sizeof(StripAnim), "Strip Anim");
1006           BLI_addtail(&seq->anims, sanim);
1007           sanim->anim = anim;
1008         }
1009       }
1010
1011       /* use the first video as reference for everything */
1012       sanim = seq->anims.first;
1013
1014       if ((!sanim) || (!sanim->anim)) {
1015         return;
1016       }
1017
1018       IMB_anim_load_metadata(sanim->anim);
1019
1020       seq->len = IMB_anim_get_duration(
1021           sanim->anim, seq->strip->proxy ? seq->strip->proxy->tc : IMB_TC_RECORD_RUN);
1022
1023       seq->anim_preseek = IMB_anim_get_preseek(sanim->anim);
1024
1025       seq->len -= seq->anim_startofs;
1026       seq->len -= seq->anim_endofs;
1027       if (seq->len < 0) {
1028         seq->len = 0;
1029       }
1030       break;
1031     }
1032     case SEQ_TYPE_MOVIECLIP:
1033       if (seq->clip == NULL) {
1034         return;
1035       }
1036
1037       seq->len = BKE_movieclip_get_duration(seq->clip);
1038
1039       seq->len -= seq->anim_startofs;
1040       seq->len -= seq->anim_endofs;
1041       if (seq->len < 0) {
1042         seq->len = 0;
1043       }
1044       break;
1045     case SEQ_TYPE_MASK:
1046       if (seq->mask == NULL) {
1047         return;
1048       }
1049       seq->len = BKE_mask_get_duration(seq->mask);
1050       seq->len -= seq->anim_startofs;
1051       seq->len -= seq->anim_endofs;
1052       if (seq->len < 0) {
1053         seq->len = 0;
1054       }
1055       break;
1056     case SEQ_TYPE_SOUND_RAM:
1057 #ifdef WITH_AUDASPACE
1058       if (!seq->sound) {
1059         return;
1060       }
1061       seq->len = ceil((double)BKE_sound_get_length(bmain, seq->sound) * FPS);
1062       seq->len -= seq->anim_startofs;
1063       seq->len -= seq->anim_endofs;
1064       if (seq->len < 0) {
1065         seq->len = 0;
1066       }
1067 #else
1068       UNUSED_VARS(bmain);
1069       return;
1070 #endif
1071       break;
1072     case SEQ_TYPE_SCENE: {
1073       seq->len = (seq->scene) ? seq->scene->r.efra - seq->scene->r.sfra + 1 : 0;
1074       seq->len -= seq->anim_startofs;
1075       seq->len -= seq->anim_endofs;
1076       if (seq->len < 0) {
1077         seq->len = 0;
1078       }
1079       break;
1080     }
1081   }
1082
1083   free_proxy_seq(seq);
1084
1085   if (lock_range) {
1086     BKE_sequence_tx_set_final_left(seq, prev_startdisp);
1087     BKE_sequence_tx_set_final_right(seq, prev_enddisp);
1088     BKE_sequence_single_fix(seq);
1089   }
1090
1091   BKE_sequence_calc(scene, seq);
1092 }
1093
1094 void BKE_sequence_movie_reload_if_needed(struct Main *bmain,
1095                                          struct Scene *scene,
1096                                          struct Sequence *seq,
1097                                          bool *r_was_reloaded,
1098                                          bool *r_can_produce_frames)
1099 {
1100   BLI_assert(seq->type == SEQ_TYPE_MOVIE ||
1101              !"This function is only implemented for movie strips.");
1102
1103   bool must_reload = false;
1104
1105   /* The Sequence struct allows for multiple anim structs to be associated with one strip. This
1106    * function will return true only if there is at least one 'anim' AND all anims can produce
1107    * frames. */
1108
1109   if (BLI_listbase_is_empty(&seq->anims)) {
1110     /* No anim present, so reloading is always necessary. */
1111     must_reload = true;
1112   }
1113   else {
1114     LISTBASE_FOREACH (StripAnim *, sanim, &seq->anims) {
1115       if (!IMB_anim_can_produce_frames(sanim->anim)) {
1116         /* Anim cannot produce frames, try reloading. */
1117         must_reload = true;
1118         break;
1119       }
1120     };
1121   }
1122
1123   if (!must_reload) {
1124     /* There are one or more anims, and all can produce frames. */
1125     *r_was_reloaded = false;
1126     *r_can_produce_frames = true;
1127     return;
1128   }
1129
1130   BKE_sequence_reload_new_file(bmain, scene, seq, true);
1131   *r_was_reloaded = true;
1132
1133   if (BLI_listbase_is_empty(&seq->anims)) {
1134     /* No anims present after reloading => no frames can be produced. */
1135     *r_can_produce_frames = false;
1136     return;
1137   }
1138
1139   /* Check if there are still anims that cannot produce frames. */
1140   LISTBASE_FOREACH (StripAnim *, sanim, &seq->anims) {
1141     if (!IMB_anim_can_produce_frames(sanim->anim)) {
1142       /* There still is an anim that cannot produce frames. */
1143       *r_can_produce_frames = false;
1144       return;
1145     }
1146   };
1147
1148   /* There are one or more anims, and all can produce frames. */
1149   *r_can_produce_frames = true;
1150 }
1151
1152 void BKE_sequencer_sort(Scene *scene)
1153 {
1154   /* all strips together per kind, and in order of y location ("machine") */
1155   ListBase seqbase, effbase;
1156   Editing *ed = BKE_sequencer_editing_get(scene, false);
1157   Sequence *seq, *seqt;
1158
1159   if (ed == NULL) {
1160     return;
1161   }
1162
1163   BLI_listbase_clear(&seqbase);
1164   BLI_listbase_clear(&effbase);
1165
1166   while ((seq = BLI_pophead(ed->seqbasep))) {
1167
1168     if (seq->type & SEQ_TYPE_EFFECT) {
1169       seqt = effbase.first;
1170       while (seqt) {
1171         if (seqt->machine >= seq->machine) {
1172           BLI_insertlinkbefore(&effbase, seqt, seq);
1173           break;
1174         }
1175         seqt = seqt->next;
1176       }
1177       if (seqt == NULL) {
1178         BLI_addtail(&effbase, seq);
1179       }
1180     }
1181     else {
1182       seqt = seqbase.first;
1183       while (seqt) {
1184         if (seqt->machine >= seq->machine) {
1185           BLI_insertlinkbefore(&seqbase, seqt, seq);
1186           break;
1187         }
1188         seqt = seqt->next;
1189       }
1190       if (seqt == NULL) {
1191         BLI_addtail(&seqbase, seq);
1192       }
1193     }
1194   }
1195
1196   BLI_movelisttolist(&seqbase, &effbase);
1197   *(ed->seqbasep) = seqbase;
1198 }
1199
1200 /** Comparison function suitable to be used with BLI_listbase_sort()... */
1201 int BKE_sequencer_cmp_time_startdisp(const void *a, const void *b)
1202 {
1203   const Sequence *seq_a = a;
1204   const Sequence *seq_b = b;
1205
1206   return (seq_a->startdisp > seq_b->startdisp);
1207 }
1208
1209 static int clear_scene_in_allseqs_fn(Sequence *seq, void *arg_pt)
1210 {
1211   if (seq->scene == (Scene *)arg_pt) {
1212     seq->scene = NULL;
1213   }
1214   return 1;
1215 }
1216
1217 void BKE_sequencer_clear_scene_in_allseqs(Main *bmain, Scene *scene)
1218 {
1219   Scene *scene_iter;
1220
1221   /* when a scene is deleted: test all seqs */
1222   for (scene_iter = bmain->scenes.first; scene_iter; scene_iter = scene_iter->id.next) {
1223     if (scene_iter != scene && scene_iter->ed) {
1224       BKE_sequencer_base_recursive_apply(
1225           &scene_iter->ed->seqbase, clear_scene_in_allseqs_fn, scene);
1226     }
1227   }
1228 }
1229
1230 typedef struct SeqUniqueInfo {
1231   Sequence *seq;
1232   char name_src[SEQ_NAME_MAXSTR];
1233   char name_dest[SEQ_NAME_MAXSTR];
1234   int count;
1235   int match;
1236 } SeqUniqueInfo;
1237
1238 static void seqbase_unique_name(ListBase *seqbasep, SeqUniqueInfo *sui)
1239 {
1240   Sequence *seq;
1241   for (seq = seqbasep->first; seq; seq = seq->next) {
1242     if ((sui->seq != seq) && STREQ(sui->name_dest, seq->name + 2)) {
1243       /* SEQ_NAME_MAXSTR -4 for the number, -1 for \0, - 2 for r_prefix */
1244       BLI_snprintf(sui->name_dest,
1245                    sizeof(sui->name_dest),
1246                    "%.*s.%03d",
1247                    SEQ_NAME_MAXSTR - 4 - 1 - 2,
1248                    sui->name_src,
1249                    sui->count++);
1250       sui->match = 1; /* be sure to re-scan */
1251     }
1252   }
1253 }
1254
1255 static int seqbase_unique_name_recursive_fn(Sequence *seq, void *arg_pt)
1256 {
1257   if (seq->seqbase.first) {
1258     seqbase_unique_name(&seq->seqbase, (SeqUniqueInfo *)arg_pt);
1259   }
1260   return 1;
1261 }
1262
1263 void BKE_sequence_base_unique_name_recursive(ListBase *seqbasep, Sequence *seq)
1264 {
1265   SeqUniqueInfo sui;
1266   char *dot;
1267   sui.seq = seq;
1268   BLI_strncpy(sui.name_src, seq->name + 2, sizeof(sui.name_src));
1269   BLI_strncpy(sui.name_dest, seq->name + 2, sizeof(sui.name_dest));
1270
1271   sui.count = 1;
1272   sui.match = 1; /* assume the worst to start the loop */
1273
1274   /* Strip off the suffix */
1275   if ((dot = strrchr(sui.name_src, '.'))) {
1276     *dot = '\0';
1277     dot++;
1278
1279     if (*dot) {
1280       sui.count = atoi(dot) + 1;
1281     }
1282   }
1283
1284   while (sui.match) {
1285     sui.match = 0;
1286     seqbase_unique_name(seqbasep, &sui);
1287     BKE_sequencer_base_recursive_apply(seqbasep, seqbase_unique_name_recursive_fn, &sui);
1288   }
1289
1290   BLI_strncpy(seq->name + 2, sui.name_dest, sizeof(seq->name) - 2);
1291 }
1292
1293 static const char *give_seqname_by_type(int type)
1294 {
1295   switch (type) {
1296     case SEQ_TYPE_META:
1297       return "Meta";
1298     case SEQ_TYPE_IMAGE:
1299       return "Image";
1300     case SEQ_TYPE_SCENE:
1301       return "Scene";
1302     case SEQ_TYPE_MOVIE:
1303       return "Movie";
1304     case SEQ_TYPE_MOVIECLIP:
1305       return "Clip";
1306     case SEQ_TYPE_MASK:
1307       return "Mask";
1308     case SEQ_TYPE_SOUND_RAM:
1309       return "Audio";
1310     case SEQ_TYPE_CROSS:
1311       return "Cross";
1312     case SEQ_TYPE_GAMCROSS:
1313       return "Gamma Cross";
1314     case SEQ_TYPE_ADD:
1315       return "Add";
1316     case SEQ_TYPE_SUB:
1317       return "Sub";
1318     case SEQ_TYPE_MUL:
1319       return "Mul";
1320     case SEQ_TYPE_ALPHAOVER:
1321       return "Alpha Over";
1322     case SEQ_TYPE_ALPHAUNDER:
1323       return "Alpha Under";
1324     case SEQ_TYPE_OVERDROP:
1325       return "Over Drop";
1326     case SEQ_TYPE_COLORMIX:
1327       return "Color Mix";
1328     case SEQ_TYPE_WIPE:
1329       return "Wipe";
1330     case SEQ_TYPE_GLOW:
1331       return "Glow";
1332     case SEQ_TYPE_TRANSFORM:
1333       return "Transform";
1334     case SEQ_TYPE_COLOR:
1335       return "Color";
1336     case SEQ_TYPE_MULTICAM:
1337       return "Multicam";
1338     case SEQ_TYPE_ADJUSTMENT:
1339       return "Adjustment";
1340     case SEQ_TYPE_SPEED:
1341       return "Speed";
1342     case SEQ_TYPE_GAUSSIAN_BLUR:
1343       return "Gaussian Blur";
1344     case SEQ_TYPE_TEXT:
1345       return "Text";
1346     default:
1347       return NULL;
1348   }
1349 }
1350
1351 const char *BKE_sequence_give_name(Sequence *seq)
1352 {
1353   const char *name = give_seqname_by_type(seq->type);
1354
1355   if (!name) {
1356     if (!(seq->type & SEQ_TYPE_EFFECT)) {
1357       return seq->strip->dir;
1358     }
1359
1360     return "Effect";
1361   }
1362   return name;
1363 }
1364
1365 ListBase *BKE_sequence_seqbase_get(Sequence *seq, int *r_offset)
1366 {
1367   ListBase *seqbase = NULL;
1368
1369   switch (seq->type) {
1370     case SEQ_TYPE_META: {
1371       seqbase = &seq->seqbase;
1372       *r_offset = seq->start;
1373       break;
1374     }
1375     case SEQ_TYPE_SCENE: {
1376       if (seq->flag & SEQ_SCENE_STRIPS && seq->scene) {
1377         Editing *ed = BKE_sequencer_editing_get(seq->scene, false);
1378         if (ed) {
1379           seqbase = &ed->seqbase;
1380           *r_offset = seq->scene->r.sfra;
1381         }
1382       }
1383       break;
1384     }
1385   }
1386
1387   return seqbase;
1388 }
1389
1390 /*********************** DO THE SEQUENCE *************************/
1391
1392 static void multibuf(ImBuf *ibuf, const float fmul)
1393 {
1394   char *rt;
1395   float *rt_float;
1396
1397   int a;
1398
1399   rt = (char *)ibuf->rect;
1400   rt_float = ibuf->rect_float;
1401
1402   if (rt) {
1403     const int imul = (int)(256.0f * fmul);
1404     a = ibuf->x * ibuf->y;
1405     while (a--) {
1406       rt[0] = min_ii((imul * rt[0]) >> 8, 255);
1407       rt[1] = min_ii((imul * rt[1]) >> 8, 255);
1408       rt[2] = min_ii((imul * rt[2]) >> 8, 255);
1409       rt[3] = min_ii((imul * rt[3]) >> 8, 255);
1410
1411       rt += 4;
1412     }
1413   }
1414   if (rt_float) {
1415     a = ibuf->x * ibuf->y;
1416     while (a--) {
1417       rt_float[0] *= fmul;
1418       rt_float[1] *= fmul;
1419       rt_float[2] *= fmul;
1420       rt_float[3] *= fmul;
1421
1422       rt_float += 4;
1423     }
1424   }
1425 }
1426
1427 float BKE_sequencer_give_stripelem_index(Sequence *seq, float cfra)
1428 {
1429   float nr;
1430   int sta = seq->start;
1431   int end = seq->start + seq->len - 1;
1432
1433   if (seq->type & SEQ_TYPE_EFFECT) {
1434     end = seq->enddisp;
1435   }
1436
1437   if (end < sta) {
1438     return -1;
1439   }
1440
1441   if (seq->flag & SEQ_REVERSE_FRAMES) {
1442     /*reverse frame in this sequence */
1443     if (cfra <= sta) {
1444       nr = end - sta;
1445     }
1446     else if (cfra >= end) {
1447       nr = 0;
1448     }
1449     else {
1450       nr = end - cfra;
1451     }
1452   }
1453   else {
1454     if (cfra <= sta) {
1455       nr = 0;
1456     }
1457     else if (cfra >= end) {
1458       nr = end - sta;
1459     }
1460     else {
1461       nr = cfra - sta;
1462     }
1463   }
1464
1465   if (seq->strobe < 1.0f) {
1466     seq->strobe = 1.0f;
1467   }
1468
1469   if (seq->strobe > 1.0f) {
1470     nr -= fmodf((double)nr, (double)seq->strobe);
1471   }
1472
1473   return nr;
1474 }
1475
1476 StripElem *BKE_sequencer_give_stripelem(Sequence *seq, int cfra)
1477 {
1478   StripElem *se = seq->strip->stripdata;
1479
1480   if (seq->type == SEQ_TYPE_IMAGE) {
1481     /* only IMAGE strips use the whole array, MOVIE strips use only the first element,
1482      * all other strips don't use this...
1483      */
1484
1485     int nr = (int)BKE_sequencer_give_stripelem_index(seq, cfra);
1486
1487     if (nr == -1 || se == NULL) {
1488       return NULL;
1489     }
1490
1491     se += nr + seq->anim_startofs;
1492   }
1493   return se;
1494 }
1495
1496 static int evaluate_seq_frame_gen(Sequence **seq_arr, ListBase *seqbase, int cfra, int chanshown)
1497 {
1498   /* Use arbitrary sized linked list, the size could be over MAXSEQ. */
1499   LinkNodePair effect_inputs = {NULL, NULL};
1500   int totseq = 0;
1501
1502   memset(seq_arr, 0, sizeof(Sequence *) * (MAXSEQ + 1));
1503
1504   LISTBASE_FOREACH (Sequence *, seq, seqbase) {
1505     if ((seq->startdisp <= cfra) && (seq->enddisp > cfra)) {
1506       if ((seq->type & SEQ_TYPE_EFFECT) && !(seq->flag & SEQ_MUTE)) {
1507
1508         if (seq->seq1) {
1509           BLI_linklist_append_alloca(&effect_inputs, seq->seq1);
1510         }
1511
1512         if (seq->seq2) {
1513           BLI_linklist_append_alloca(&effect_inputs, seq->seq2);
1514         }
1515
1516         if (seq->seq3) {
1517           BLI_linklist_append_alloca(&effect_inputs, seq->seq3);
1518         }
1519       }
1520
1521       seq_arr[seq->machine] = seq;
1522       totseq++;
1523     }
1524   }
1525
1526   /* Drop strips which are used for effect inputs, we don't want
1527    * them to blend into render stack in any other way than effect
1528    * string rendering.
1529    */
1530   for (LinkNode *seq_item = effect_inputs.list; seq_item; seq_item = seq_item->next) {
1531     Sequence *seq = seq_item->link;
1532     /* It's possible that effetc strip would be placed to the same
1533      * 'machine' as it's inputs. We don't want to clear such strips
1534      * from the stack.
1535      */
1536     if (seq_arr[seq->machine] && seq_arr[seq->machine]->type & SEQ_TYPE_EFFECT) {
1537       continue;
1538     }
1539     /* If we're shown a specified channel, then we want to see the stirps
1540      * which belongs to this machine.
1541      */
1542     if (chanshown != 0 && chanshown <= seq->machine) {
1543       continue;
1544     }
1545     seq_arr[seq->machine] = NULL;
1546   }
1547
1548   return totseq;
1549 }
1550
1551 int BKE_sequencer_evaluate_frame(Scene *scene, int cfra)
1552 {
1553   Editing *ed = BKE_sequencer_editing_get(scene, false);
1554   Sequence *seq_arr[MAXSEQ + 1];
1555
1556   if (ed == NULL) {
1557     return 0;
1558   }
1559
1560   return evaluate_seq_frame_gen(seq_arr, ed->seqbasep, cfra, 0);
1561 }
1562
1563 static bool video_seq_is_rendered(Sequence *seq)
1564 {
1565   return (seq && !(seq->flag & SEQ_MUTE) && seq->type != SEQ_TYPE_SOUND_RAM);
1566 }
1567
1568 int BKE_sequencer_get_shown_sequences(ListBase *seqbasep,
1569                                       int cfra,
1570                                       int chanshown,
1571                                       Sequence **seq_arr_out)
1572 {
1573   Sequence *seq_arr[MAXSEQ + 1];
1574   int b = chanshown;
1575   int cnt = 0;
1576
1577   if (b > MAXSEQ) {
1578     return 0;
1579   }
1580
1581   if (evaluate_seq_frame_gen(seq_arr, seqbasep, cfra, chanshown)) {
1582     if (b == 0) {
1583       b = MAXSEQ;
1584     }
1585     for (; b > 0; b--) {
1586       if (video_seq_is_rendered(seq_arr[b])) {
1587         break;
1588       }
1589     }
1590   }
1591
1592   chanshown = b;
1593
1594   for (; b > 0; b--) {
1595     if (video_seq_is_rendered(seq_arr[b])) {
1596       if (seq_arr[b]->blend_mode == SEQ_BLEND_REPLACE) {
1597         break;
1598       }
1599     }
1600   }
1601
1602   for (; b <= chanshown && b >= 0; b++) {
1603     if (video_seq_is_rendered(seq_arr[b])) {
1604       seq_arr_out[cnt++] = seq_arr[b];
1605     }
1606   }
1607
1608   return cnt;
1609 }
1610
1611 /*********************** proxy management *************************/
1612
1613 typedef struct SeqIndexBuildContext {
1614   struct IndexBuildContext *index_context;
1615
1616   int tc_flags;
1617   int size_flags;
1618   int quality;
1619   bool overwrite;
1620   int view_id;
1621
1622   Main *bmain;
1623   Depsgraph *depsgraph;
1624   Scene *scene;
1625   Sequence *seq, *orig_seq;
1626 } SeqIndexBuildContext;
1627
1628 #define PROXY_MAXFILE (2 * FILE_MAXDIR + FILE_MAXFILE)
1629
1630 static IMB_Proxy_Size seq_rendersize_to_proxysize(int render_size)
1631 {
1632   switch (render_size) {
1633     case SEQ_PROXY_RENDER_SIZE_25:
1634       return IMB_PROXY_25;
1635     case SEQ_PROXY_RENDER_SIZE_50:
1636       return IMB_PROXY_50;
1637     case SEQ_PROXY_RENDER_SIZE_75:
1638       return IMB_PROXY_75;
1639     case SEQ_PROXY_RENDER_SIZE_100:
1640       return IMB_PROXY_100;
1641   }
1642   return IMB_PROXY_NONE;
1643 }
1644
1645 double BKE_sequencer_rendersize_to_scale_factor(int render_size)
1646 {
1647   switch (render_size) {
1648     case SEQ_PROXY_RENDER_SIZE_25:
1649       return 0.25;
1650     case SEQ_PROXY_RENDER_SIZE_50:
1651       return 0.50;
1652     case SEQ_PROXY_RENDER_SIZE_75:
1653       return 0.75;
1654   }
1655   return 1.0;
1656 }
1657
1658 /* the number of files will vary according to the stereo format */
1659 static int seq_num_files(Scene *scene, char views_format, const bool is_multiview)
1660 {
1661   if (!is_multiview) {
1662     return 1;
1663   }
1664   if (views_format == R_IMF_VIEWS_STEREO_3D) {
1665     return 1;
1666   }
1667   /* R_IMF_VIEWS_INDIVIDUAL */
1668
1669   return BKE_scene_multiview_num_views_get(&scene->r);
1670 }
1671
1672 static void seq_proxy_index_dir_set(struct anim *anim, const char *base_dir)
1673 {
1674   char dir[FILE_MAX];
1675   char fname[FILE_MAXFILE];
1676
1677   IMB_anim_get_fname(anim, fname, FILE_MAXFILE);
1678   BLI_strncpy(dir, base_dir, sizeof(dir));
1679   BLI_path_append(dir, sizeof(dir), fname);
1680   IMB_anim_set_index_dir(anim, dir);
1681 }
1682
1683 static void seq_open_anim_file(Scene *scene, Sequence *seq, bool openfile)
1684 {
1685   char dir[FILE_MAX];
1686   char name[FILE_MAX];
1687   StripProxy *proxy;
1688   bool use_proxy;
1689   bool is_multiview_loaded = false;
1690   Editing *ed = scene->ed;
1691   const bool is_multiview = (seq->flag & SEQ_USE_VIEWS) != 0 &&
1692                             (scene->r.scemode & R_MULTIVIEW) != 0;
1693
1694   if ((seq->anims.first != NULL) && (((StripAnim *)seq->anims.first)->anim != NULL)) {
1695     return;
1696   }
1697
1698   /* reset all the previously created anims */
1699   BKE_sequence_free_anim(seq);
1700
1701   BLI_join_dirfile(name, sizeof(name), seq->strip->dir, seq->strip->stripdata->name);
1702   BLI_path_abs(name, BKE_main_blendfile_path_from_global());
1703
1704   proxy = seq->strip->proxy;
1705
1706   use_proxy = proxy && ((proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_DIR) != 0 ||
1707                         (ed->proxy_storage == SEQ_EDIT_PROXY_DIR_STORAGE));
1708
1709   if (use_proxy) {
1710     if (ed->proxy_storage == SEQ_EDIT_PROXY_DIR_STORAGE) {
1711       if (ed->proxy_dir[0] == 0) {
1712         BLI_strncpy(dir, "//BL_proxy", sizeof(dir));
1713       }
1714       else {
1715         BLI_strncpy(dir, ed->proxy_dir, sizeof(dir));
1716       }
1717     }
1718     else {
1719       BLI_strncpy(dir, seq->strip->proxy->dir, sizeof(dir));
1720     }
1721     BLI_path_abs(dir, BKE_main_blendfile_path_from_global());
1722   }
1723
1724   if (is_multiview && seq->views_format == R_IMF_VIEWS_INDIVIDUAL) {
1725     int totfiles = seq_num_files(scene, seq->views_format, true);
1726     char prefix[FILE_MAX];
1727     const char *ext = NULL;
1728     int i;
1729
1730     BKE_scene_multiview_view_prefix_get(scene, name, prefix, &ext);
1731
1732     if (prefix[0] != '\0') {
1733       for (i = 0; i < totfiles; i++) {
1734         const char *suffix = BKE_scene_multiview_view_id_suffix_get(&scene->r, i);
1735         char str[FILE_MAX];
1736         StripAnim *sanim = MEM_mallocN(sizeof(StripAnim), "Strip Anim");
1737
1738         BLI_addtail(&seq->anims, sanim);
1739
1740         BLI_snprintf(str, sizeof(str), "%s%s%s", prefix, suffix, ext);
1741
1742         if (openfile) {
1743           sanim->anim = openanim(str,
1744                                  IB_rect | ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
1745                                  seq->streamindex,
1746                                  seq->strip->colorspace_settings.name);
1747         }
1748         else {
1749           sanim->anim = openanim_noload(str,
1750                                         IB_rect |
1751                                             ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
1752                                         seq->streamindex,
1753                                         seq->strip->colorspace_settings.name);
1754         }
1755
1756         if (sanim->anim) {
1757           /* we already have the suffix */
1758           IMB_suffix_anim(sanim->anim, suffix);
1759         }
1760         else {
1761           if (openfile) {
1762             sanim->anim = openanim(name,
1763                                    IB_rect | ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
1764                                    seq->streamindex,
1765                                    seq->strip->colorspace_settings.name);
1766           }
1767           else {
1768             sanim->anim = openanim_noload(name,
1769                                           IB_rect |
1770                                               ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
1771                                           seq->streamindex,
1772                                           seq->strip->colorspace_settings.name);
1773           }
1774
1775           /* no individual view files - monoscopic, stereo 3d or exr multiview */
1776           totfiles = 1;
1777         }
1778
1779         if (sanim->anim && use_proxy) {
1780           seq_proxy_index_dir_set(sanim->anim, dir);
1781         }
1782       }
1783       is_multiview_loaded = true;
1784     }
1785   }
1786
1787   if (is_multiview_loaded == false) {
1788     StripAnim *sanim;
1789
1790     sanim = MEM_mallocN(sizeof(StripAnim), "Strip Anim");
1791     BLI_addtail(&seq->anims, sanim);
1792
1793     if (openfile) {
1794       sanim->anim = openanim(name,
1795                              IB_rect | ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
1796                              seq->streamindex,
1797                              seq->strip->colorspace_settings.name);
1798     }
1799     else {
1800       sanim->anim = openanim_noload(name,
1801                                     IB_rect | ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
1802                                     seq->streamindex,
1803                                     seq->strip->colorspace_settings.name);
1804     }
1805
1806     if (sanim->anim && use_proxy) {
1807       seq_proxy_index_dir_set(sanim->anim, dir);
1808     }
1809   }
1810 }
1811
1812 static bool seq_proxy_get_custom_file_fname(Sequence *seq, char *name, const int view_id)
1813 {
1814   char fname[FILE_MAXFILE];
1815   char suffix[24];
1816   StripProxy *proxy = seq->strip->proxy;
1817
1818   if (proxy == NULL) {
1819     return false;
1820   }
1821
1822   BLI_join_dirfile(fname, PROXY_MAXFILE, proxy->dir, proxy->file);
1823   BLI_path_abs(fname, BKE_main_blendfile_path_from_global());
1824
1825   if (view_id > 0) {
1826     BLI_snprintf(suffix, sizeof(suffix), "_%d", view_id);
1827     /* TODO(sergey): This will actually append suffix after extension
1828      * which is weird but how was originally coded in multiview branch.
1829      */
1830     BLI_snprintf(name, PROXY_MAXFILE, "%s_%s", fname, suffix);
1831   }
1832   else {
1833     BLI_strncpy(name, fname, PROXY_MAXFILE);
1834   }
1835
1836   return true;
1837 }
1838
1839 static bool seq_proxy_get_fname(Editing *ed,
1840                                 Sequence *seq,
1841                                 int cfra,
1842                                 eSpaceSeq_Proxy_RenderSize render_size,
1843                                 char *name,
1844                                 const int view_id)
1845 {
1846   char dir[PROXY_MAXFILE];
1847   char suffix[24] = {'\0'};
1848   StripProxy *proxy = seq->strip->proxy;
1849
1850   if (proxy == NULL) {
1851     return false;
1852   }
1853
1854   /* Multiview suffix. */
1855   if (view_id > 0) {
1856     BLI_snprintf(suffix, sizeof(suffix), "_%d", view_id);
1857   }
1858
1859   /* Per strip with Custom file situation is handled separately. */
1860   if (proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_FILE &&
1861       ed->proxy_storage != SEQ_EDIT_PROXY_DIR_STORAGE) {
1862     if (seq_proxy_get_custom_file_fname(seq, name, view_id)) {
1863       return true;
1864     }
1865   }
1866
1867   if (ed->proxy_storage == SEQ_EDIT_PROXY_DIR_STORAGE) {
1868     /* Per project default. */
1869     if (ed->proxy_dir[0] == 0) {
1870       BLI_strncpy(dir, "//BL_proxy", sizeof(dir));
1871     }
1872     else { /* Per project with custom dir. */
1873       BLI_strncpy(dir, ed->proxy_dir, sizeof(dir));
1874     }
1875     BLI_path_abs(name, BKE_main_blendfile_path_from_global());
1876   }
1877   else {
1878     /* Pre strip with custom dir. */
1879     if (proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_DIR) {
1880       BLI_strncpy(dir, seq->strip->proxy->dir, sizeof(dir));
1881     }
1882     else { /* Per strip default. */
1883       BLI_snprintf(dir, PROXY_MAXFILE, "%s/BL_proxy", seq->strip->dir);
1884     }
1885   }
1886
1887   /* Proxy size number to be used in path. */
1888   int proxy_size_number = BKE_sequencer_rendersize_to_scale_factor(render_size) * 100;
1889
1890   BLI_snprintf(name,
1891                PROXY_MAXFILE,
1892                "%s/images/%d/%s_proxy%s",
1893                dir,
1894                proxy_size_number,
1895                BKE_sequencer_give_stripelem(seq, cfra)->name,
1896                suffix);
1897   BLI_path_abs(name, BKE_main_blendfile_path_from_global());
1898   strcat(name, ".jpg");
1899
1900   return true;
1901 }
1902
1903 static bool seq_can_use_proxy(Sequence *seq, IMB_Proxy_Size psize)
1904 {
1905   if (seq->strip->proxy == NULL) {
1906     return false;
1907   }
1908   short size_flags = seq->strip->proxy->build_size_flags;
1909   return (seq->flag & SEQ_USE_PROXY) != 0 && psize != IMB_PROXY_NONE && (size_flags & psize) != 0;
1910 }
1911
1912 static ImBuf *seq_proxy_fetch(const SeqRenderData *context, Sequence *seq, int cfra)
1913 {
1914   char name[PROXY_MAXFILE];
1915   StripProxy *proxy = seq->strip->proxy;
1916   const eSpaceSeq_Proxy_RenderSize psize = context->preview_render_size;
1917   Editing *ed = context->scene->ed;
1918   StripAnim *sanim;
1919
1920   /* only use proxies, if they are enabled (even if present!) */
1921   if (!seq_can_use_proxy(seq, seq_rendersize_to_proxysize(psize))) {
1922     return NULL;
1923   }
1924
1925   if (proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_FILE) {
1926     int frameno = (int)BKE_sequencer_give_stripelem_index(seq, cfra) + seq->anim_startofs;
1927     if (proxy->anim == NULL) {
1928       if (seq_proxy_get_fname(ed, seq, cfra, psize, name, context->view_id) == 0) {
1929         return NULL;
1930       }
1931
1932       proxy->anim = openanim(name, IB_rect, 0, seq->strip->colorspace_settings.name);
1933     }
1934     if (proxy->anim == NULL) {
1935       return NULL;
1936     }
1937
1938     seq_open_anim_file(context->scene, seq, true);
1939     sanim = seq->anims.first;
1940
1941     frameno = IMB_anim_index_get_frame_index(
1942         sanim ? sanim->anim : NULL, seq->strip->proxy->tc, frameno);
1943
1944     return IMB_anim_absolute(proxy->anim, frameno, IMB_TC_NONE, IMB_PROXY_NONE);
1945   }
1946
1947   if (seq_proxy_get_fname(ed, seq, cfra, psize, name, context->view_id) == 0) {
1948     return NULL;
1949   }
1950
1951   if (BLI_exists(name)) {
1952     ImBuf *ibuf = IMB_loadiffname(name, IB_rect, NULL);
1953
1954     if (ibuf) {
1955       sequencer_imbuf_assign_spaces(context->scene, ibuf);
1956     }
1957
1958     return ibuf;
1959   }
1960
1961   return NULL;
1962 }
1963
1964 static void seq_proxy_build_frame(const SeqRenderData *context,
1965                                   SeqRenderState *state,
1966                                   Sequence *seq,
1967                                   int cfra,
1968                                   int proxy_render_size,
1969                                   const bool overwrite)
1970 {
1971   char name[PROXY_MAXFILE];
1972   int quality;
1973   int rectx, recty;
1974   int ok;
1975   ImBuf *ibuf_tmp, *ibuf;
1976   Editing *ed = context->scene->ed;
1977
1978   if (!seq_proxy_get_fname(ed, seq, cfra, proxy_render_size, name, context->view_id)) {
1979     return;
1980   }
1981
1982   if (!overwrite && BLI_exists(name)) {
1983     return;
1984   }
1985
1986   ibuf_tmp = seq_render_strip(context, state, seq, cfra);
1987
1988   rectx = (proxy_render_size * ibuf_tmp->x) / 100;
1989   recty = (proxy_render_size * ibuf_tmp->y) / 100;
1990
1991   if (ibuf_tmp->x != rectx || ibuf_tmp->y != recty) {
1992     ibuf = IMB_dupImBuf(ibuf_tmp);
1993     IMB_metadata_copy(ibuf, ibuf_tmp);
1994     IMB_freeImBuf(ibuf_tmp);
1995     IMB_scalefastImBuf(ibuf, (short)rectx, (short)recty);
1996   }
1997   else {
1998     ibuf = ibuf_tmp;
1999   }
2000
2001   /* depth = 32 is intentionally left in, otherwise ALPHA channels
2002    * won't work... */
2003   quality = seq->strip->proxy->quality;
2004   ibuf->ftype = IMB_FTYPE_JPG;
2005   ibuf->foptions.quality = quality;
2006
2007   /* unsupported feature only confuses other s/w */
2008   if (ibuf->planes == 32) {
2009     ibuf->planes = 24;
2010   }
2011
2012   BLI_make_existing_file(name);
2013
2014   ok = IMB_saveiff(ibuf, name, IB_rect | IB_zbuf | IB_zbuffloat);
2015   if (ok == 0) {
2016     perror(name);
2017   }
2018
2019   IMB_freeImBuf(ibuf);
2020 }
2021
2022 /**
2023  * Returns whether the file this context would read from even exist,
2024  * if not, don't create the context
2025  */
2026 static bool seq_proxy_multiview_context_invalid(Sequence *seq, Scene *scene, const int view_id)
2027 {
2028   if ((scene->r.scemode & R_MULTIVIEW) == 0) {
2029     return false;
2030   }
2031
2032   if ((seq->type == SEQ_TYPE_IMAGE) && (seq->views_format == R_IMF_VIEWS_INDIVIDUAL)) {
2033     static char prefix[FILE_MAX];
2034     static const char *ext = NULL;
2035     char str[FILE_MAX];
2036
2037     if (view_id == 0) {
2038       char path[FILE_MAX];
2039       BLI_join_dirfile(path, sizeof(path), seq->strip->dir, seq->strip->stripdata->name);
2040       BLI_path_abs(path, BKE_main_blendfile_path_from_global());
2041       BKE_scene_multiview_view_prefix_get(scene, path, prefix, &ext);
2042     }
2043     else {
2044       prefix[0] = '\0';
2045     }
2046
2047     if (prefix[0] == '\0') {
2048       return view_id != 0;
2049     }
2050
2051     seq_multiview_name(scene, view_id, prefix, ext, str, FILE_MAX);
2052
2053     if (BLI_access(str, R_OK) == 0) {
2054       return false;
2055     }
2056
2057     return view_id != 0;
2058   }
2059   return false;
2060 }
2061
2062 /**
2063  * This returns the maximum possible number of required contexts
2064  */
2065 static int seq_proxy_context_count(Sequence *seq, Scene *scene)
2066 {
2067   int num_views = 1;
2068
2069   if ((scene->r.scemode & R_MULTIVIEW) == 0) {
2070     return 1;
2071   }
2072
2073   switch (seq->type) {
2074     case SEQ_TYPE_MOVIE: {
2075       num_views = BLI_listbase_count(&seq->anims);
2076       break;
2077     }
2078     case SEQ_TYPE_IMAGE: {
2079       switch (seq->views_format) {
2080         case R_IMF_VIEWS_INDIVIDUAL:
2081           num_views = BKE_scene_multiview_num_views_get(&scene->r);
2082           break;
2083         case R_IMF_VIEWS_STEREO_3D:
2084           num_views = 2;
2085           break;
2086         case R_IMF_VIEWS_MULTIVIEW:
2087           /* not supported at the moment */
2088           /* pass through */
2089         default:
2090           num_views = 1;
2091       }
2092       break;
2093     }
2094   }
2095
2096   return num_views;
2097 }
2098
2099 bool BKE_sequencer_proxy_rebuild_context(Main *bmain,
2100                                          Depsgraph *depsgraph,
2101                                          Scene *scene,
2102                                          Sequence *seq,
2103                                          struct GSet *file_list,
2104                                          ListBase *queue)
2105 {
2106   SeqIndexBuildContext *context;
2107   Sequence *nseq;
2108   LinkData *link;
2109   int num_files;
2110   int i;
2111
2112   if (!seq->strip || !seq->strip->proxy) {
2113     return true;
2114   }
2115
2116   if (!(seq->flag & SEQ_USE_PROXY)) {
2117     return true;
2118   }
2119
2120   num_files = seq_proxy_context_count(seq, scene);
2121
2122   for (i = 0; i < num_files; i++) {
2123     if (seq_proxy_multiview_context_invalid(seq, scene, i)) {
2124       continue;
2125     }
2126
2127     context = MEM_callocN(sizeof(SeqIndexBuildContext), "seq proxy rebuild context");
2128
2129     nseq = BKE_sequence_dupli_recursive(scene, scene, NULL, seq, 0);
2130
2131     context->tc_flags = nseq->strip->proxy->build_tc_flags;
2132     context->size_flags = nseq->strip->proxy->build_size_flags;
2133     context->quality = nseq->strip->proxy->quality;
2134     context->overwrite = (nseq->strip->proxy->build_flags & SEQ_PROXY_SKIP_EXISTING) == 0;
2135
2136     context->bmain = bmain;
2137     context->depsgraph = depsgraph;
2138     context->scene = scene;
2139     context->orig_seq = seq;
2140     context->seq = nseq;
2141
2142     context->view_id = i; /* only for images */
2143
2144     if (nseq->type == SEQ_TYPE_MOVIE) {
2145       StripAnim *sanim;
2146
2147       seq_open_anim_file(scene, nseq, true);
2148       sanim = BLI_findlink(&nseq->anims, i);
2149
2150       if (sanim->anim) {
2151         context->index_context = IMB_anim_index_rebuild_context(sanim->anim,
2152                                                                 context->tc_flags,
2153                                                                 context->size_flags,
2154                                                                 context->quality,
2155                                                                 context->overwrite,
2156                                                                 file_list);
2157       }
2158       if (!context->index_context) {
2159         MEM_freeN(context);
2160         return false;
2161       }
2162     }
2163
2164     link = BLI_genericNodeN(context);
2165     BLI_addtail(queue, link);
2166   }
2167   return true;
2168 }
2169
2170 void BKE_sequencer_proxy_rebuild(SeqIndexBuildContext *context,
2171                                  short *stop,
2172                                  short *do_update,
2173                                  float *progress)
2174 {
2175   const bool overwrite = context->overwrite;
2176   SeqRenderData render_context;
2177   Sequence *seq = context->seq;
2178   Scene *scene = context->scene;
2179   Main *bmain = context->bmain;
2180   int cfra;
2181
2182   if (seq->type == SEQ_TYPE_MOVIE) {
2183     if (context->index_context) {
2184       IMB_anim_index_rebuild(context->index_context, stop, do_update, progress);
2185     }
2186
2187     return;
2188   }
2189
2190   if (!(seq->flag & SEQ_USE_PROXY)) {
2191     return;
2192   }
2193
2194   /* that's why it is called custom... */
2195   if (seq->strip->proxy && seq->strip->proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_FILE) {
2196     return;
2197   }
2198
2199   /* fail safe code */
2200
2201   BKE_sequencer_new_render_data(bmain,
2202                                 context->depsgraph,
2203                                 context->scene,
2204                                 (scene->r.size * (float)scene->r.xsch) / 100.0f + 0.5f,
2205                                 (scene->r.size * (float)scene->r.ysch) / 100.0f + 0.5f,
2206                                 100,
2207                                 false,
2208                                 &render_context);
2209
2210   render_context.skip_cache = true;
2211   render_context.is_proxy_render = true;
2212   render_context.view_id = context->view_id;
2213
2214   SeqRenderState state;
2215   sequencer_state_init(&state);
2216
2217   for (cfra = seq->startdisp + seq->startstill; cfra < seq->enddisp - seq->endstill; cfra++) {
2218     if (context->size_flags & IMB_PROXY_25) {
2219       seq_proxy_build_frame(&render_context, &state, seq, cfra, 25, overwrite);
2220     }
2221     if (context->size_flags & IMB_PROXY_50) {
2222       seq_proxy_build_frame(&render_context, &state, seq, cfra, 50, overwrite);
2223     }
2224     if (context->size_flags & IMB_PROXY_75) {
2225       seq_proxy_build_frame(&render_context, &state, seq, cfra, 75, overwrite);
2226     }
2227     if (context->size_flags & IMB_PROXY_100) {
2228       seq_proxy_build_frame(&render_context, &state, seq, cfra, 100, overwrite);
2229     }
2230
2231     *progress = (float)(cfra - seq->startdisp - seq->startstill) /
2232                 (seq->enddisp - seq->endstill - seq->startdisp - seq->startstill);
2233     *do_update = true;
2234
2235     if (*stop || G.is_break) {
2236       break;
2237     }
2238   }
2239 }
2240
2241 void BKE_sequencer_proxy_rebuild_finish(SeqIndexBuildContext *context, bool stop)
2242 {
2243   if (context->index_context) {
2244     StripAnim *sanim;
2245
2246     for (sanim = context->seq->anims.first; sanim; sanim = sanim->next) {
2247       IMB_close_anim_proxies(sanim->anim);
2248     }
2249
2250     for (sanim = context->orig_seq->anims.first; sanim; sanim = sanim->next) {
2251       IMB_close_anim_proxies(sanim->anim);
2252     }
2253
2254     IMB_anim_index_rebuild_finish(context->index_context, stop);
2255   }
2256
2257   seq_free_sequence_recurse(NULL, context->seq, true);
2258
2259   MEM_freeN(context);
2260 }
2261
2262 void BKE_sequencer_proxy_set(struct Sequence *seq, bool value)
2263 {
2264   if (value) {
2265     seq->flag |= SEQ_USE_PROXY;
2266     if (seq->strip->proxy == NULL) {
2267       seq->strip->proxy = MEM_callocN(sizeof(struct StripProxy), "StripProxy");
2268       seq->strip->proxy->quality = 90;
2269       seq->strip->proxy->build_tc_flags = SEQ_PROXY_TC_ALL;
2270       seq->strip->proxy->build_size_flags = SEQ_PROXY_IMAGE_SIZE_25;
2271     }
2272   }
2273   else {
2274     seq->flag &= ~SEQ_USE_PROXY;
2275   }
2276 }
2277
2278 /*********************** color balance *************************/
2279
2280 static StripColorBalance calc_cb(StripColorBalance *cb_)
2281 {
2282   StripColorBalance cb = *cb_;
2283   int c;
2284
2285   for (c = 0; c < 3; c++) {
2286     cb.lift[c] = 2.0f - cb.lift[c];
2287   }
2288
2289   if (cb.flag & SEQ_COLOR_BALANCE_INVERSE_LIFT) {
2290     for (c = 0; c < 3; c++) {
2291       /* tweak to give more subtle results
2292        * values above 1.0 are scaled */
2293       if (cb.lift[c] > 1.0f) {
2294         cb.lift[c] = pow(cb.lift[c] - 1.0f, 2.0) + 1.0;
2295       }
2296
2297       cb.lift[c] = 2.0f - cb.lift[c];
2298     }
2299   }
2300
2301   if (cb.flag & SEQ_COLOR_BALANCE_INVERSE_GAIN) {
2302     for (c = 0; c < 3; c++) {
2303       if (cb.gain[c] != 0.0f) {
2304         cb.gain[c] = 1.0f / cb.gain[c];
2305       }
2306       else {
2307         cb.gain[c] = 1000000; /* should be enough :) */
2308       }
2309     }
2310   }
2311
2312   if (!(cb.flag & SEQ_COLOR_BALANCE_INVERSE_GAMMA)) {
2313     for (c = 0; c < 3; c++) {
2314       if (cb.gamma[c] != 0.0f) {
2315         cb.gamma[c] = 1.0f / cb.gamma[c];
2316       }
2317       else {
2318         cb.gamma[c] = 1000000; /* should be enough :) */
2319       }
2320     }
2321   }
2322
2323   return cb;
2324 }
2325
2326 /* note: lift is actually 2-lift */
2327 MINLINE float color_balance_fl(
2328     float in, const float lift, const float gain, const float gamma, const float mul)
2329 {
2330   float x = (((in - 1.0f) * lift) + 1.0f) * gain;
2331
2332   /* prevent NaN */
2333   if (x < 0.f) {
2334     x = 0.f;
2335   }
2336
2337   x = powf(x, gamma) * mul;
2338   CLAMP(x, FLT_MIN, FLT_MAX);
2339   return x;
2340 }
2341
2342 static void make_cb_table_float(float lift, float gain, float gamma, float *table, float mul)
2343 {
2344   int y;
2345
2346   for (y = 0; y < 256; y++) {
2347     float v = color_balance_fl((float)y * (1.0f / 255.0f), lift, gain, gamma, mul);
2348
2349     table[y] = v;
2350   }
2351 }
2352
2353 static void color_balance_byte_byte(StripColorBalance *cb_,
2354                                     unsigned char *rect,
2355                                     unsigned char *mask_rect,
2356                                     int width,
2357                                     int height,
2358                                     float mul)
2359 {
2360   // unsigned char cb_tab[3][256];
2361   unsigned char *cp = rect;
2362   unsigned char *e = cp + width * 4 * height;
2363   unsigned char *m = mask_rect;
2364
2365   StripColorBalance cb = calc_cb(cb_);
2366
2367   while (cp < e) {
2368     float p[4];
2369     int c;
2370
2371     straight_uchar_to_premul_float(p, cp);
2372
2373     for (c = 0; c < 3; c++) {
2374       float t = color_balance_fl(p[c], cb.lift[c], cb.gain[c], cb.gamma[c], mul);
2375
2376       if (m) {
2377         float m_normal = (float)m[c] / 255.0f;
2378
2379         p[c] = p[c] * (1.0f - m_normal) + t * m_normal;
2380       }
2381       else {
2382         p[c] = t;
2383       }
2384     }
2385
2386     premul_float_to_straight_uchar(cp, p);
2387
2388     cp += 4;
2389     if (m) {
2390       m += 4;
2391     }
2392   }
2393 }
2394
2395 static void color_balance_byte_float(StripColorBalance *cb_,
2396                                      unsigned char *rect,
2397                                      float *rect_float,
2398                                      unsigned char *mask_rect,
2399                                      int width,
2400                                      int height,
2401                                      float mul)
2402 {
2403   float cb_tab[4][256];
2404   int c, i;
2405   unsigned char *p = rect;
2406   unsigned char *e = p + width * 4 * height;
2407   unsigned char *m = mask_rect;
2408   float *o;
2409   StripColorBalance cb;
2410
2411   o = rect_float;
2412
2413   cb = calc_cb(cb_);
2414
2415   for (c = 0; c < 3; c++) {
2416     make_cb_table_float(cb.lift[c], cb.gain[c], cb.gamma[c], cb_tab[c], mul);
2417   }
2418
2419   for (i = 0; i < 256; i++) {
2420     cb_tab[3][i] = ((float)i) * (1.0f / 255.0f);
2421   }
2422
2423   while (p < e) {
2424     if (m) {
2425       const float t[3] = {m[0] / 255.0f, m[1] / 255.0f, m[2] / 255.0f};
2426
2427       p[0] = p[0] * (1.0f - t[0]) + t[0] * cb_tab[0][p[0]];
2428       p[1] = p[1] * (1.0f - t[1]) + t[1] * cb_tab[1][p[1]];
2429       p[2] = p[2] * (1.0f - t[2]) + t[2] * cb_tab[2][p[2]];
2430
2431       m += 4;
2432     }
2433     else {
2434       o[0] = cb_tab[0][p[0]];
2435       o[1] = cb_tab[1][p[1]];
2436       o[2] = cb_tab[2][p[2]];
2437     }
2438
2439     o[3] = cb_tab[3][p[3]];
2440
2441     p += 4;
2442     o += 4;
2443   }
2444 }
2445
2446 static void color_balance_float_float(StripColorBalance *cb_,
2447                                       float *rect_float,
2448                                       const float *mask_rect_float,
2449                                       int width,
2450                                       int height,
2451                                       float mul)
2452 {
2453   float *p = rect_float;
2454   const float *e = rect_float + width * 4 * height;
2455   const float *m = mask_rect_float;
2456   StripColorBalance cb = calc_cb(cb_);
2457
2458   while (p < e) {
2459     int c;
2460     for (c = 0; c < 3; c++) {
2461       float t = color_balance_fl(p[c], cb.lift[c], cb.gain[c], cb.gamma[c], mul);
2462
2463       if (m) {
2464         p[c] = p[c] * (1.0f - m[c]) + t * m[c];
2465       }
2466       else {
2467         p[c] = t;
2468       }
2469     }
2470
2471     p += 4;
2472     if (m) {
2473       m += 4;
2474     }
2475   }
2476 }
2477
2478 typedef struct ColorBalanceInitData {
2479   StripColorBalance *cb;
2480   ImBuf *ibuf;
2481   float mul;
2482   ImBuf *mask;
2483   bool make_float;
2484 } ColorBalanceInitData;
2485
2486 typedef struct ColorBalanceThread {
2487   StripColorBalance *cb;
2488   float mul;
2489
2490   int width, height;
2491
2492   unsigned char *rect, *mask_rect;
2493   float *rect_float, *mask_rect_float;
2494
2495   bool make_float;
2496 } ColorBalanceThread;
2497
2498 static void color_balance_init_handle(void *handle_v,
2499                                       int start_line,
2500                                       int tot_line,
2501                                       void *init_data_v)
2502 {
2503   ColorBalanceThread *handle = (ColorBalanceThread *)handle_v;
2504   ColorBalanceInitData *init_data = (ColorBalanceInitData *)init_data_v;
2505   ImBuf *ibuf = init_data->ibuf;
2506   ImBuf *mask = init_data->mask;
2507
2508   int offset = 4 * start_line * ibuf->x;
2509
2510   memset(handle, 0, sizeof(ColorBalanceThread));
2511
2512   handle->cb = init_data->cb;
2513   handle->mul = init_data->mul;
2514   handle->width = ibuf->x;
2515   handle->height = tot_line;
2516   handle->make_float = init_data->make_float;
2517
2518   if (ibuf->rect) {
2519     handle->rect = (unsigned char *)ibuf->rect + offset;
2520   }
2521
2522   if (ibuf->rect_float) {
2523     handle->rect_float = ibuf->rect_float + offset;
2524   }
2525
2526   if (mask) {
2527     if (mask->rect) {
2528       handle->mask_rect = (unsigned char *)mask->rect + offset;
2529     }
2530
2531     if (mask->rect_float) {
2532       handle->mask_rect_float = mask->rect_float + offset;
2533     }
2534   }
2535   else {
2536     handle->mask_rect = NULL;
2537     handle->mask_rect_float = NULL;
2538   }
2539 }
2540
2541 static void *color_balance_do_thread(void *thread_data_v)
2542 {
2543   ColorBalanceThread *thread_data = (ColorBalanceThread *)thread_data_v;
2544   StripColorBalance *cb = thread_data->cb;
2545   int width = thread_data->width, height = thread_data->height;
2546   unsigned char *rect = thread_data->rect;
2547   unsigned char *mask_rect = thread_data->mask_rect;
2548   float *rect_float = thread_data->rect_float;
2549   float *mask_rect_float = thread_data->mask_rect_float;
2550   float mul = thread_data->mul;
2551
2552   if (rect_float) {
2553     color_balance_float_float(cb, rect_float, mask_rect_float, width, height, mul);
2554   }
2555   else if (thread_data->make_float) {
2556     color_balance_byte_float(cb, rect, rect_float, mask_rect, width, height, mul);
2557   }
2558   else {
2559     color_balance_byte_byte(cb, rect, mask_rect, width, height, mul);
2560   }
2561
2562   return NULL;
2563 }
2564
2565 /* cfra is offset by fra_offset only in case we are using a real mask. */
2566 ImBuf *BKE_sequencer_render_mask_input(const SeqRenderData *context,
2567                                        int mask_input_type,
2568                                        Sequence *mask_sequence,
2569                                        Mask *mask_id,
2570                                        int cfra,
2571                                        int fra_offset,
2572                                        bool make_float)
2573 {
2574   ImBuf *mask_input = NULL;
2575
2576   if (mask_input_type == SEQUENCE_MASK_INPUT_STRIP) {
2577     if (mask_sequence) {
2578       SeqRenderState state;
2579       sequencer_state_init(&state);
2580
2581       mask_input = seq_render_strip(context, &state, mask_sequence, cfra);
2582
2583       if (make_float) {
2584         if (!mask_input->rect_float) {
2585           IMB_float_from_rect(mask_input);
2586         }
2587       }
2588       else {
2589         if (!mask_input->rect) {
2590           IMB_rect_from_float(mask_input);
2591         }
2592       }
2593     }
2594   }
2595   else if (mask_input_type == SEQUENCE_MASK_INPUT_ID) {
2596     mask_input = seq_render_mask(context, mask_id, cfra - fra_offset, make_float);
2597   }
2598
2599   return mask_input;
2600 }
2601
2602 void BKE_sequencer_color_balance_apply(
2603     StripColorBalance *cb, ImBuf *ibuf, float mul, bool make_float, ImBuf *mask_input)
2604 {
2605   ColorBalanceInitData init_data;
2606
2607   if (!ibuf->rect_float && make_float) {
2608     imb_addrectfloatImBuf(ibuf);
2609   }
2610
2611   init_data.cb = cb;
2612   init_data.ibuf = ibuf;
2613   init_data.mul = mul;
2614   init_data.make_float = make_float;
2615   init_data.mask = mask_input;
2616
2617   IMB_processor_apply_threaded(ibuf->y,
2618                                sizeof(ColorBalanceThread),
2619                                &init_data,
2620                                color_balance_init_handle,
2621                                color_balance_do_thread);
2622
2623   /* color balance either happens on float buffer or byte buffer, but never on both,
2624    * free byte buffer if there's float buffer since float buffer would be used for
2625    * color balance in favor of byte buffer
2626    */
2627   if (ibuf->rect_float && ibuf->rect) {
2628     imb_freerectImBuf(ibuf);
2629   }
2630 }
2631
2632 /*
2633  * input preprocessing for SEQ_TYPE_IMAGE, SEQ_TYPE_MOVIE, SEQ_TYPE_MOVIECLIP and SEQ_TYPE_SCENE
2634  *
2635  * Do all the things you can't really do afterwards using sequence effects
2636  * (read: before rescaling to render resolution has been done)
2637  *
2638  * Order is important!
2639  *
2640  * - Deinterlace
2641  * - Crop and transform in image source coordinate space
2642  * - Flip X + Flip Y (could be done afterwards, backward compatibility)
2643  * - Promote image to float data (affects pipeline operations afterwards)
2644  * - Color balance (is most efficient in the byte -> float
2645  *   (future: half -> float should also work fine!)
2646  *   case, if done on load, since we can use lookup tables)
2647  * - Premultiply
2648  */
2649
2650 bool BKE_sequencer_input_have_to_preprocess(const SeqRenderData *context,
2651                                             Sequence *seq,
2652                                             float UNUSED(cfra))
2653 {
2654   float mul;
2655
2656   if (context && context->is_proxy_render) {
2657     return false;
2658   }
2659
2660   if (seq->flag &
2661       (SEQ_FILTERY | SEQ_USE_CROP | SEQ_USE_TRANSFORM | SEQ_FLIPX | SEQ_FLIPY | SEQ_MAKE_FLOAT)) {
2662     return true;
2663   }
2664
2665   mul = seq->mul;
2666
2667   if (seq->blend_mode == SEQ_BLEND_REPLACE) {
2668     mul *= seq->blend_opacity / 100.0f;
2669   }
2670
2671   if (mul != 1.0f) {
2672     return true;
2673   }
2674
2675   if (seq->sat != 1.0f) {
2676     return true;
2677   }
2678
2679   if (seq->modifiers.first) {
2680     return true;
2681   }
2682
2683   return false;
2684 }
2685
2686 static ImBuf *input_preprocess(const SeqRenderData *context,
2687                                Sequence *seq,
2688                                float cfra,
2689                                ImBuf *ibuf,
2690                                const bool is_proxy_image)
2691 {
2692   Scene *scene = context->scene;
2693   float mul;
2694
2695   ibuf = IMB_makeSingleUser(ibuf);
2696
2697   if ((seq->flag & SEQ_FILTERY) && !ELEM(seq->type, SEQ_TYPE_MOVIE, SEQ_TYPE_MOVIECLIP)) {
2698     IMB_filtery(ibuf);
2699   }
2700
2701   if (seq->flag & (SEQ_USE_CROP | SEQ_USE_TRANSFORM)) {
2702     StripCrop c = {0};
2703     StripTransform t = {0};
2704
2705     if (seq->flag & SEQ_USE_CROP && seq->strip->crop) {
2706       c = *seq->strip->crop;
2707     }
2708     if (seq->flag & SEQ_USE_TRANSFORM && seq->strip->transform) {
2709       t = *seq->strip->transform;
2710     }
2711
2712     /* Calculate scale factor for current image if needed. */
2713     double scale_factor, image_scale_factor = 1.0;
2714     if (context->preview_render_size == SEQ_PROXY_RENDER_SIZE_SCENE) {
2715       scale_factor = image_scale_factor = (double)scene->r.size / 100;
2716     }
2717     else {
2718       scale_factor = BKE_sequencer_rendersize_to_scale_factor(context->preview_render_size);
2719       if (!is_proxy_image) {
2720         image_scale_factor = scale_factor;
2721       }
2722     }
2723
2724     if (image_scale_factor != 1.0) {
2725       if (context->for_render) {
2726         IMB_scaleImBuf(ibuf, ibuf->x * image_scale_factor, ibuf->y * image_scale_factor);
2727       }
2728       else {
2729         IMB_scalefastImBuf(ibuf, ibuf->x * image_scale_factor, ibuf->y * image_scale_factor);
2730       }
2731     }
2732
2733     t.xofs *= scale_factor;
2734     t.yofs *= scale_factor;
2735     c.left *= scale_factor;
2736     c.right *= scale_factor;
2737     c.top *= scale_factor;
2738     c.bottom *= scale_factor;
2739
2740     int sx, sy, dx, dy;
2741     sx = ibuf->x - c.left - c.right;
2742     sy = ibuf->y - c.top - c.bottom;
2743
2744     if (seq->flag & SEQ_USE_TRANSFORM) {
2745       dx = context->rectx;
2746       dy = context->recty;
2747     }
2748     else {
2749       dx = sx;
2750       dy = sy;
2751     }
2752
2753     if (c.top + c.bottom >= ibuf->y || c.left + c.right >= ibuf->x || t.xofs >= dx ||
2754         t.yofs >= dy) {
2755       return NULL;
2756     }
2757
2758     ImBuf *i = IMB_allocImBuf(dx, dy, 32, ibuf->rect_float ? IB_rectfloat : IB_rect);
2759     IMB_rectcpy(i, ibuf, t.xofs, t.yofs, c.left, c.bottom, sx, sy);
2760     sequencer_imbuf_assign_spaces(scene, i);
2761     IMB_metadata_copy(i, ibuf);
2762     IMB_freeImBuf(ibuf);
2763     ibuf = i;
2764   }
2765
2766   if (seq->flag & SEQ_FLIPX) {
2767     IMB_flipx(ibuf);
2768   }
2769
2770   if (seq->flag & SEQ_FLIPY) {
2771     IMB_flipy(ibuf);
2772   }
2773
2774   if (seq->sat != 1.0f) {
2775     IMB_saturation(ibuf, seq->sat);
2776   }
2777
2778   mul = seq->mul;
2779
2780   if (seq->blend_mode == SEQ_BLEND_REPLACE) {
2781     mul *= seq->blend_opacity / 100.0f;
2782   }
2783
2784   if (seq->flag & SEQ_MAKE_FLOAT) {
2785     if (!ibuf->rect_float) {
2786       BKE_sequencer_imbuf_to_sequencer_space(scene, ibuf, true);
2787     }
2788
2789     if (ibuf->rect) {
2790       imb_freerectImBuf(ibuf);
2791     }
2792   }
2793
2794   if (mul != 1.0f) {
2795     multibuf(ibuf, mul);
2796   }
2797
2798   if (ibuf->x != context->rectx || ibuf->y != context->recty) {
2799     if (context->for_render) {
2800       IMB_scaleImBuf(ibuf, (short)context->rectx, (short)context->recty);
2801     }
2802     else {
2803       IMB_scalefastImBuf(ibuf, (short)context->rectx, (short)context->recty);
2804     }
2805   }
2806
2807   if (seq->modifiers.first) {
2808     ImBuf *ibuf_new = BKE_sequence_modifier_apply_stack(context, seq, ibuf, cfra);
2809
2810     if (ibuf_new != ibuf) {
2811       IMB_metadata_copy(ibuf_new, ibuf);
2812       IMB_freeImBuf(ibuf);
2813       ibuf = ibuf_new;
2814     }
2815   }
2816
2817   return ibuf;
2818 }
2819
2820 /*********************** strip rendering functions  *************************/
2821
2822 typedef struct RenderEffectInitData {
2823   struct SeqEffectHandle *sh;
2824   const SeqRenderData *context;
2825   Sequence *seq;
2826   float cfra, facf0, facf1;
2827   ImBuf *ibuf1, *ibuf2, *ibuf3;
2828
2829   ImBuf *out;
2830 } RenderEffectInitData;
2831
2832 typedef struct RenderEffectThread {
2833   struct SeqEffectHandle *sh;
2834   const SeqRenderData *context;
2835   Sequence *seq;
2836   float cfra, facf0, facf1;
2837   ImBuf *ibuf1, *ibuf2, *ibuf3;
2838
2839   ImBuf *out;
2840   int start_line, tot_line;
2841 } RenderEffectThread;
2842
2843 static void render_effect_execute_init_handle(void *handle_v,
2844                                               int start_line,
2845                                               int tot_line,
2846                                               void *init_data_v)
2847 {
2848   RenderEffectThread *handle = (RenderEffectThread *)handle_v;
2849   RenderEffectInitData *init_data = (RenderEffectInitData *)init_data_v;
2850
2851   handle->sh = init_data->sh;
2852   handle->context = init_data->context;
2853   handle->seq = init_data->seq;
2854   handle->cfra = init_data->cfra;
2855   handle->facf0 = init_data->facf0;
2856   handle->facf1 = init_data->facf1;
2857   handle->ibuf1 = init_data->ibuf1;
2858   handle->ibuf2 = init_data->ibuf2;
2859   handle->ibuf3 = init_data->ibuf3;
2860   handle->out = init_data->out;
2861
2862   handle->start_line = start_line;
2863   handle->tot_line = tot_line;
2864 }
2865
2866 static void *render_effect_execute_do_thread(void *thread_data_v)
2867 {
2868   RenderEffectThread *thread_data = (RenderEffectThread *)thread_data_v;
2869
2870   thread_data->sh->execute_slice(thread_data->context,
2871                                  thread_data->seq,
2872                                  thread_data->cfra,
2873                                  thread_data->facf0,
2874                                  thread_data->facf1,
2875                                  thread_data->ibuf1,
2876                                  thread_data->ibuf2,
2877                                  thread_data->ibuf3,
2878                                  thread_data->start_line,
2879                                  thread_data->tot_line,
2880                                  thread_data->out);
2881
2882   return NULL;
2883 }
2884
2885 ImBuf *BKE_sequencer_effect_execute_threaded(struct SeqEffectHandle *sh,
2886                                              const SeqRenderData *context,
2887                                              Sequence *seq,
2888                                              float cfra,
2889                                              float facf0,
2890                                              float facf1,
2891                                              ImBuf *ibuf1,
2892                                              ImBuf *ibuf2,
2893                                              ImBuf *ibuf3)
2894 {
2895   RenderEffectInitData init_data;
2896   ImBuf *out = sh->init_execution(context, ibuf1, ibuf2, ibuf3);
2897
2898   init_data.sh = sh;
2899   init_data.context = context;
2900   init_data.seq = seq;
2901   init_data.cfra = cfra;
2902   init_data.facf0 = facf0;
2903   init_data.facf1 = facf1;
2904   init_data.ibuf1 = ibuf1;
2905   init_data.ibuf2 = ibuf2;
2906   init_data.ibuf3 = ibuf3;
2907   init_data.out = out;
2908
2909   IMB_processor_apply_threaded(out->y,
2910                                sizeof(RenderEffectThread),
2911                                &init_data,
2912                                render_effect_execute_init_handle,
2913                                render_effect_execute_do_thread);
2914
2915   return out;
2916 }
2917
2918 static ImBuf *seq_render_effect_strip_impl(const SeqRenderData *context,
2919                                            SeqRenderState *state,
2920                                            Sequence *seq,
2921                                            float cfra)
2922 {
2923   Scene *scene = context->scene;
2924   float fac, facf;
2925   int early_out;
2926   int i;
2927   struct SeqEffectHandle sh = BKE_sequence_get_effect(seq);
2928   FCurve *fcu = NULL;
2929   ImBuf *ibuf[3];
2930   Sequence *input[3];
2931   ImBuf *out = NULL;
2932
2933   ibuf[0] = ibuf[1] = ibuf[2] = NULL;
2934
2935   input[0] = seq->seq1;
2936   input[1] = seq->seq2;
2937   input[2] = seq->seq3;
2938
2939   if (!sh.execute && !(sh.execute_slice && sh.init_execution)) {
2940     /* effect not supported in this version... */
2941     out = IMB_allocImBuf(context->rectx, context->recty, 32, IB_rect);
2942     return out;
2943   }
2944
2945   if (seq->flag & SEQ_USE_EFFECT_DEFAULT_FADE) {
2946     sh.get_default_fac(seq, cfra, &fac, &facf);
2947     facf = fac;
2948   }
2949   else {
2950     fcu = id_data_find_fcurve(&scene->id, seq, &RNA_Sequence, "effect_fader", 0, NULL);
2951     if (fcu) {
2952       fac = facf = evaluate_fcurve(fcu, cfra);
2953     }
2954     else {
2955       fac = facf = seq->effect_fader;
2956     }
2957   }
2958
2959   early_out = sh.early_out(seq, fac, facf);
2960
2961   switch (early_out) {
2962     case EARLY_NO_INPUT:
2963       out = sh.execute(context, seq, cfra, fac, facf, NULL, NULL, NULL);
2964       break;
2965     case EARLY_DO_EFFECT:
2966       for (i = 0; i < 3; i++) {
2967         /* Speed effect requires time remapping of cfra for input(s). */
2968         if (input[0] && seq->type == SEQ_TYPE_SPEED) {
2969           float target_frame = BKE_sequencer_speed_effect_target_frame_get(context, seq, cfra, i);
2970           ibuf[i] = seq_render_strip(context, state, input[0], target_frame);
2971         }
2972         else { /* Other effects. */
2973           if (input[i]) {
2974             ibuf[i] = seq_render_strip(context, state, input[i], cfra);
2975           }
2976         }
2977       }
2978
2979       if (ibuf[0] && (ibuf[1] || BKE_sequence_effect_get_num_inputs(seq->type) == 1)) {
2980         if (sh.multithreaded) {
2981           out = BKE_sequencer_effect_execute_threaded(
2982               &sh, context, seq, cfra, fac, facf, ibuf[0], ibuf[1], ibuf[2]);
2983         }
2984         else {
2985           out = sh.execute(context, seq, cfra, fac, facf, ibuf[0], ibuf[1], ibuf[2]);
2986         }
2987       }
2988       break;
2989     case EARLY_USE_INPUT_1:
2990       if (input[0]) {
2991         out = seq_render_strip(context, state, input[0], cfra);
2992       }
2993       break;
2994     case EARLY_USE_INPUT_2:
2995       if (input[1]) {
2996         out = seq_render_strip(context, state, input[1], cfra);
2997       }
2998       break;
2999   }
3000
3001   for (i = 0; i < 3; i++) {
3002     IMB_freeImBuf(ibuf[i]);
3003   }
3004
3005   if (out == NULL) {
3006     out = IMB_allocImBuf(context->rectx, context->recty, 32, IB_rect);
3007   }
3008
3009   return out;
3010 }
3011
3012 /* Render individual view for multiview or single (default view) for monoview. */
3013 static ImBuf *seq_render_image_strip_view(const SeqRenderData *context,
3014                                           Sequence *seq,
3015                                           char *name,
3016                                           char *prefix,
3017                                           const char *ext,
3018                                           int view_id)
3019 {
3020
3021   ImBuf *ibuf = NULL;
3022
3023   int flag = IB_rect | IB_metadata;
3024   if (seq->alpha_mode == SEQ_ALPHA_PREMUL) {
3025     flag |= IB_alphamode_premul;
3026   }
3027
3028   if (prefix[0] == '\0') {
3029     ibuf = IMB_loadiffname(name, flag, seq->strip->colorspace_settings.name);
3030   }
3031   else {
3032     char str[FILE_MAX];
3033     BKE_scene_multiview_view_prefix_get(context->scene, name, prefix, &ext);
3034     seq_multiview_name(context->scene, view_id, prefix, ext, str, FILE_MAX);
3035     ibuf = IMB_loadiffname(str, flag, seq->strip->colorspace_settings.name);
3036   }
3037
3038   if (ibuf == NULL) {
3039     return NULL;
3040   }
3041
3042   /* We don't need both (speed reasons)! */
3043   if (ibuf->rect_float != NULL && ibuf->rect != NULL) {
3044     imb_freerectImBuf(ibuf);
3045   }
3046
3047   /* All sequencer color is done in SRGB space, linear gives odd crossfades. */
3048   BKE_sequencer_imbuf_to_sequencer_space(context->scene, ibuf, false);
3049
3050   return ibuf;
3051 }
3052
3053 static bool seq_image_strip_is_multiview_render(
3054     Scene *scene, Sequence *seq, int totfiles, char *name, char *r_prefix, const char *r_ext)
3055 {
3056   if (totfiles > 1) {
3057     BKE_scene_multiview_view_prefix_get(scene, name, r_prefix, &r_ext);
3058     if (r_prefix[0] == '\0') {
3059       return false;
3060     }
3061   }
3062   else {
3063     r_prefix[0] = '\0';
3064   }
3065
3066   return (seq->flag & SEQ_USE_VIEWS) != 0 && (scene->r.scemode & R_MULTIVIEW) != 0;
3067 }
3068
3069 static ImBuf *seq_render_image_strip(const SeqRenderData *context,
3070                                      Sequence *seq,
3071                                      float UNUSED(nr),
3072                                      float cfra,
3073                                      bool *r_is_proxy_image)
3074 {
3075   char name[FILE_MAX];
3076   const char *ext = NULL;
3077   char prefix[FILE_MAX];
3078   ImBuf *ibuf = NULL;
3079
3080   StripElem *s_elem = BKE_sequencer_give_stripelem(seq, cfra);
3081   if (s_elem == NULL) {
3082     return NULL;
3083   }
3084
3085   BLI_join_dirfile(name, sizeof(name), seq->strip->dir, s_elem->name);
3086   BLI_path_abs(name, BKE_main_blendfile_path_from_global());
3087
3088   /* Try to get a proxy image. */
3089   ibuf = seq_proxy_fetch(context, seq, cfra);
3090   if (ibuf != NULL) {
3091     s_elem->orig_width = ibuf->x;
3092     s_elem->orig_height = ibuf->y;
3093     *r_is_proxy_image = true;
3094     return ibuf;
3095   }
3096
3097   /* Proxy not found, render original. */
3098   const int totfiles = seq_num_files(context->scene, seq->views_format, true);
3099   bool is_multiview_render = seq_image_strip_is_multiview_render(
3100       context->scene, seq, totfiles, name, prefix, ext);
3101
3102   if (is_multiview_render) {
3103     int totviews = BKE_scene_multiview_num_views_get(&context->scene->r);
3104     ImBuf **ibufs_arr = MEM_callocN(sizeof(ImBuf *) * totviews, "Sequence Image Views Imbufs");
3105
3106     for (int view_id = 0; view_id < totfiles; view_id++) {
3107       ibufs_arr[view_id] = seq_render_image_strip_view(context, seq, name, prefix, ext, view_id);
3108     }
3109
3110     if (ibufs_arr[0] == NULL) {
3111       return NULL;
3112     }
3113
3114     if (seq->views_format == R_IMF_VIEWS_STEREO_3D) {
3115       IMB_ImBufFromStereo3d(seq->stereo3d_format, ibufs_arr[0], &ibufs_arr[0], &ibufs_arr[1]);
3116     }
3117
3118     for (int view_id = 0; view_id < totviews; view_id++) {
3119       SeqRenderData localcontext = *context;
3120       localcontext.view_id = view_id;
3121
3122       if (view_id != context->view_id) {
3123         ibufs_arr[view_id] = seq_render_preprocess_ibuf(
3124             &localcontext, seq, ibufs_arr[view_id], cfra, clock(), true, false);
3125       }
3126     }
3127
3128     /* Return the original requested ImBuf. */
3129     ibuf = ibufs_arr[context->view_id];
3130
3131     /* Remove the others (decrease their refcount). */
3132     for (int view_id = 0; view_id < totviews; view_id++) {
3133       if (ibufs_arr[view_id] != ibuf) {
3134         IMB_freeImBuf(ibufs_arr[view_id]);
3135       }
3136     }
3137
3138     MEM_freeN(ibufs_arr);
3139   }
3140   else {
3141     ibuf = seq_render_image_strip_view(context, seq, name, prefix, ext, context->view_id);
3142   }
3143
3144   if (ibuf == NULL) {
3145     return NULL;
3146   }
3147
3148   s_elem->orig_width = ibuf->x;
3149   s_elem->orig_height = ibuf->y;
3150
3151   return ibuf;
3152 }
3153
3154 static ImBuf *seq_render_movie_strip_custom_file_proxy(const SeqRenderData *context,
3155                                                        Sequence *seq,
3156                                                        int cfra)
3157 {
3158   char name[PROXY_MAXFILE];
3159   StripProxy *proxy = seq->strip->proxy;
3160
3161   if (proxy->anim == NULL) {
3162     if (seq_proxy_get_custom_file_fname(seq, name, context->view_id)) {
3163       proxy->anim = openanim(name, IB_rect, 0, seq->strip->colorspace_settings.name);
3164     }
3165     if (proxy->anim == NULL) {
3166       return NULL;
3167     }
3168   }
3169
3170   int frameno = (int)BKE_sequencer_give_stripelem_index(seq, cfra) + seq->anim_startofs;
3171   return IMB_anim_absolute(proxy->anim, frameno, IMB_TC_NONE, IMB_PROXY_NONE);
3172 }
3173
3174 /**
3175  * Render individual view for multi-view or single (default view) for mono-view.
3176  */
3177 static ImBuf *seq_render_movie_strip_view(const SeqRenderData *context,
3178                                           Sequence *seq,
3179                                           float nr,
3180                                           float cfra,
3181                                           StripAnim *sanim,
3182                                           bool *r_is_proxy_image)
3183 {
3184   ImBuf *ibuf = NULL;
3185   IMB_Proxy_Size psize = seq_rendersize_to_proxysize(context->preview_render_size);
3186
3187   IMB_anim_set_preseek(sanim->anim, seq->anim_preseek);
3188
3189   if (seq_can_use_proxy(seq, psize)) {
3190     /* Try to get a proxy image.
3191      * Movie proxies are handled by ImBuf module with exception of `custom file` setting. */
3192     if (context->scene->ed->proxy_storage != SEQ_EDIT_PROXY_DIR_STORAGE &&
3193         seq->strip->proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_FILE) {
3194       ibuf = seq_render_movie_strip_custom_file_proxy(context, seq, cfra);
3195     }
3196     else {
3197       ibuf = IMB_anim_absolute(sanim->anim,
3198                                nr + seq->anim_startofs,
3199                                seq->strip->proxy ? seq->strip->proxy->tc : IMB_TC_RECORD_RUN,
3200                                psize);
3201     }
3202
3203     if (ibuf != NULL) {
3204       *r_is_proxy_image = true;
3205     }
3206   }
3207
3208   /* Fetching for requested proxy size failed, try fetching the original instead. */
3209   if (ibuf == NULL) {
3210     ibuf = IMB_anim_absolute(sanim->anim,
3211                              nr + seq->anim_startofs,
3212                              seq->strip->proxy ? seq->strip->proxy->tc : IMB_TC_RECORD_RUN,
3213                              IMB_PROXY_NONE);
3214   }
3215   if (ibuf == NULL) {
3216     return NULL;
3217   }
3218
3219   BKE_sequencer_imbuf_to_sequencer_space(context->scene, ibuf, false);
3220
3221   /* We don't need both (speed reasons)! */
3222   if (ibuf->rect_float != NULL && ibuf->rect != NULL) {
3223     imb_freerectImBuf(ibuf);
3224   }
3225
3226   return ibuf;
3227 }
3228
3229 static ImBuf *seq_render_movie_strip(
3230     const SeqRenderData *context, Sequence *seq, float nr, float cfra, bool *r_is_proxy_image)
3231 {
3232   /* Load all the videos. */
3233   seq_open_anim_file(context->scene, seq, false);
3234
3235   ImBuf *ibuf = NULL;
3236   StripAnim *sanim = seq->anims.first;
3237   const int totfiles = seq_num_files(context->scene, seq->views_format, true);
3238   bool is_multiview_render = (seq->flag & SEQ_USE_VIEWS) != 0 &&
3239                              (context->scene->r.scemode & R_MULTIVIEW) != 0 &&
3240                              BLI_listbase_count_at_most(&seq->anims, totfiles + 1) == totfiles;
3241
3242   if (is_multiview_render) {
3243     ImBuf **ibuf_arr;
3244     int totviews = BKE_scene_multiview_num_views_get(&context->scene->r);
3245     ibuf_arr = MEM_callocN(sizeof(ImBuf *) * totviews, "Sequence Image Views Imbufs");
3246     int ibuf_view_id;
3247
3248     for (ibuf_view_id = 0, sanim = seq->anims.first; sanim; sanim = sanim->next, ibuf_view_id++) {
3249       if (sanim->anim) {
3250         ibuf_arr[ibuf_view_id] = seq_render_movie_strip_view(
3251             context, seq, nr, cfra, sanim, r_is_proxy_image);
3252       }
3253     }
3254
3255     if (seq->views_format == R_IMF_VIEWS_STEREO_3D) {
3256       if (ibuf_arr[0] == NULL) {
3257         /* Probably proxy hasn't been created yet. */
3258         MEM_freeN(ibuf_arr);
3259         return NULL;
3260       }
3261
3262       IMB_ImBufFromStereo3d(seq->stereo3d_format, ibuf_arr[0], &ibuf_arr[0], &ibuf_arr[1]);
3263     }
3264
3265     for (int view_id = 0; view_id < totviews; view_id++) {
3266       SeqRenderData localcontext = *context;
3267       localcontext.view_id = view_id;
3268
3269       if (view_id != context->view_id) {
3270         ibuf_arr[view_id] = seq_render_preprocess_ibuf(
3271             &localcontext, seq, ibuf_arr[view_id], cfra, clock(), true, false);
3272       }
3273     }
3274
3275     /* Return the original requested ImBuf. */
3276     ibuf = ibuf_arr[context->view_id];
3277
3278     /* Remove the others (decrease their refcount). */
3279     for (int view_id = 0; view_id < totviews; view_id++) {
3280       if (ibuf_arr[view_id] != ibuf) {
3281         IMB_freeImBuf(ibuf_arr[view_id]);
3282       }
3283     }
3284
3285     MEM_freeN(ibuf_arr);
3286   }
3287   else {
3288     ibuf = seq_render_movie_strip_view(context, seq, nr, cfra, sanim, r_is_proxy_image);
3289   }
3290
3291   if (ibuf == NULL) {
3292     return NULL;
3293   }
3294
3295   seq->strip->stripdata->orig_width = ibuf->x;
3296   seq->strip->stripdata->orig_height = ibuf->y;
3297
3298   return ibuf;
3299 }
3300
3301 static ImBuf *seq_get_movieclip_ibuf(Sequence *seq, MovieClipUser user)
3302 {
3303   ImBuf *ibuf = NULL;
3304   float tloc[2], tscale, tangle;
3305   if (seq->clip_flag & SEQ_MOVIECLIP_RENDER_STABILIZED) {
3306     ibuf = BKE_movieclip_get_stable_ibuf(seq->clip, &user, tloc, &tscale, &tangle, 0);
3307   }
3308   else {
3309     ibuf = BKE_movieclip_get_ibuf_flag(seq->clip, &user, seq->clip->flag, MOVIECLIP_CACHE_SKIP);
3310   }
3311   return ibuf;
3312 }
3313
3314 static ImBuf *seq_render_movieclip_strip(const SeqRenderData *context,
3315                                          Sequence *seq,
3316                                          float nr,
3317                                          bool *r_is_proxy_image)
3318 {
3319   ImBuf *ibuf = NULL;
3320   MovieClipUser user;
3321   IMB_Proxy_Size psize = seq_rendersize_to_proxysize(context->preview_render_size);
3322
3323   if (!seq->clip) {
3324     return NULL;
3325   }
3326
3327   memset(&user, 0, sizeof(MovieClipUser));
3328
3329   BKE_movieclip_user_set_frame(&user, nr + seq->anim_startofs + seq->clip->start_frame);
3330
3331   user.render_size = MCLIP_PROXY_RENDER_SIZE_FULL;
3332   switch (psize) {
3333     case IMB_PROXY_NONE:
3334       user.render_size = MCLIP_PROXY_RENDER_SIZE_FULL;
3335       break;
3336     case IMB_PROXY_100:
3337       user.render_size = MCLIP_PROXY_RENDER_SIZE_100;
3338       break;
3339     case IMB_PROXY_75:
3340       user.render_size = MCLIP_PROXY_RENDER_SIZE_75;
3341       break;
3342     case IMB_PROXY_50:
3343       user.render_size = MCLIP_PROXY_RENDER_SIZE_50;
3344       break;
3345     case IMB_PROXY_25:
3346       user.render_size = MCLIP_PROXY_RENDER_SIZE_25;
3347       break;
3348   }
3349
3350   if (seq->clip_flag & SEQ_MOVIECLIP_RENDER_UNDISTORTED) {
3351     user.render_flag |= MCLIP_PROXY_RENDER_UNDISTORT;
3352   }
3353
3354   /* Try to get a proxy image. */
3355   ibuf = seq_get_movieclip_ibuf(seq, user);
3356
3357   if (ibuf != NULL && psize != IMB_PROXY_NONE) {
3358     *r_is_proxy_image = true;
3359   }
3360
3361   /* If proxy is not found, grab full-size frame. */
3362   if (ibuf == NULL) {
3363     user.render_flag |= MCLIP_PROXY_RENDER_USE_FALLBACK_RENDER;
3364     ibuf = seq_get_movieclip_ibuf(seq, user);
3365   }
3366
3367   return ibuf;
3368 }
3369
3370 static ImBuf *seq_render_mask(const SeqRenderData *context, Mask *mask, float nr, bool make_float)
3371 {
3372   /* TODO - add option to rasterize to alpha imbuf? */
3373   ImBuf *ibuf = NULL;
3374   float *maskbuf;
3375   int i;
3376
3377   if (!mask) {
3378     return NULL;
3379   }
3380
3381   AnimData *adt;
3382   Mask *mask_temp;
3383   MaskRasterHandle *mr_handle;
3384
3385   mask_temp = BKE_mask_copy_nolib(mask);
3386
3387   BKE_mask_evaluate(mask_temp, mask->sfra + nr, true);
3388
3389   /* anim-data */
3390   adt = BKE_animdata_from_id(&mask->id);
3391   const AnimationEvalContext anim_eval_context = BKE_animsys_eval_context_construct(
3392       context->depsgraph, mask->sfra + nr);
3393   BKE_animsys_evaluate_animdata(&mask_temp->id, adt, &anim_eval_context, ADT_RECALC_ANIM, false);
3394
3395   maskbuf = MEM_mallocN(sizeof(float) * context->rectx * context->recty, __func__);
3396
3397   mr_handle = BKE_maskrasterize_handle_new();
3398
3399   BKE_maskrasterize_handle_init(
3400       mr_handle, mask_temp, context->rectx, context->recty, true, true, true);
3401
3402   BKE_mask_free(mask_temp);
3403   MEM_freeN(mask_temp);
3404
3405   BKE_maskrasterize_buffer(mr_handle, context->rectx, context->recty, maskbuf);
3406
3407   BKE_maskrasterize_handle_free(mr_handle);
3408
3409   if (make_float) {
3410     /* pixels */
3411     const float *fp_src;
3412     float *fp_dst;
3413
3414     ibuf = IMB_allocImBuf(context->rectx, context->recty, 32, IB_rectfloat);
3415
3416     fp_src = maskbuf;
3417     fp_dst = ibuf->rect_float;
3418     i = context->rectx * context->recty;
3419     while (--i) {
3420       fp_dst[0] = fp_dst[1] = fp_dst[2] = *fp_src;
3421       fp_dst[3] = 1.0f;
3422
3423       fp_src += 1;
3424       fp_dst += 4;
3425     }
3426   }
3427   else {
3428     /* pixels */
3429     const float *fp_src;
3430     unsigned char *ub_dst;
3431
3432     ibuf = IMB_allocImBuf(context->rectx, context->recty, 32, IB_rect);
3433
3434     fp_src = maskbuf;
3435     ub_dst = (unsigned char *)ibuf->rect;
3436     i = context->rectx * context->recty;
3437     while (--i) {
3438       ub_dst[0] = ub_dst[1] = ub_dst[2] = (unsigned char)(*fp_src * 255.0f); /* already clamped */
3439       ub_dst[3] = 255;
3440
3441       fp_src += 1;
3442       ub_dst += 4;
3443     }
3444   }
3445
3446   MEM_freeN(maskbuf);
3447
3448   return ibuf;
3449 }
3450
3451 static ImBuf *seq_render_mask_strip(const SeqRenderData *context, Sequence *seq, float nr)
3452 {
3453   bool make_float = (seq->flag & SEQ_MAKE_FLOAT) != 0;
3454
3455   return seq_render_mask(context, seq->mask, nr, make_float);
3456 }
3457
3458 static ImBuf *seq_render_scene_strip(const SeqRenderData *context,
3459                                      Sequence *seq,
3460                                      float nr,
3461                                      float cfra)
3462 {
3463   ImBuf *ibuf = NULL;
3464   double frame;
3465   Object *camera;
3466
3467   struct {
3468     int scemode;
3469     int cfra;
3470     float subframe;
3471
3472 #ifdef DURIAN_CAMERA_SWITCH
3473     int mode;
3474 #endif
3475   } orig_data;
3476
3477   /* Old info:
3478    * Hack! This function can be called from do_render_seq(), in that case
3479    * the seq->scene can already have a Render initialized with same name,
3480    * so we have to use a default name. (compositor uses scene name to
3481    * find render).
3482    * However, when called from within the UI (image preview in sequencer)
3483    * we do want to use scene Render, that way the render result is defined
3484    * for display in render/imagewindow
3485    *
3486    * Hmm, don't see, why we can't do that all the time,
3487    * and since G.is_rendering is uhm, gone... (Peter)
3488    */
3489
3490   /* New info:
3491    * Using the same name for the renders works just fine as the do_render_seq()
3492    * render is not used while the scene strips are rendered.
3493    *
3494    * However rendering from UI (through sequencer_preview_area_draw) can crash in
3495    * very many cases since other renders (material preview, an actual render etc.)
3496    * can be started while this sequence preview render is running. The only proper
3497    * solution is to make the sequencer preview render a proper job, which can be
3498    * stopped when needed. This would also give a nice progress bar for the preview
3499    * space so that users know there's something happening.
3500    *
3501    * As a result the active scene now only uses OpenGL rendering for the sequencer
3502    * preview. This is far from nice, but is the only way to prevent crashes at this
3503    * time.
3504    *
3505    * -jahka
3506    */
3507
3508   const bool is_rendering = G.is_rendering;
3509   const bool is_background = G.background;
3510   const bool do_seq_gl = is_rendering ? 0 : (context->scene->r.seq_prev_type) != OB_RENDER;
3511   bool have_comp = false;
3512   bool use_gpencil = true;
3513   /* do we need to re-evaluate the frame after rendering? */
3514   bool is_frame_update = false;
3515   Scene *scene;
3516   int is_thread_main = BLI_thread_is_main();
3517
3518   /* don't refer to seq->scene above this point!, it can be NULL */
3519   if (seq->scene == NULL) {
3520     return NULL;
3521   }
3522
3523   /* Prevent rendering scene recursively. */
3524   if (seq->scene == context->scene) {
3525     return NULL;
3526   }
3527
3528   scene = seq->scene;
3529   frame = (double)scene->r.sfra + (double)nr + (double)seq->anim_startofs;
3530
3531 #if 0 /* UNUSED */
3532   have_seq = (scene->r.scemode & R_DOSEQ) && scene->ed && scene->ed->seqbase.first);
3533 #endif
3534   have_comp = (scene->r.scemode & R_DOCOMP) && scene->use_nodes && scene->nodetree;
3535
3536   /* Get view layer for the strip. */
3537   ViewLayer *view_layer = BKE_view_layer_default_render(scene);
3538   /* Depsgraph will be NULL when doing rendering. */
3539   Depsgraph *depsgraph = NULL;
3540
3541   orig_data.scemode = scene->r.scemode;
3542   orig_data.cfra = scene->r.cfra;
3543   orig_data.subframe = scene->r.subframe;
3544 #ifdef DURIAN_CAMERA_SWITCH
3545   orig_data.mode = scene->r.mode;
3546 #endif
3547
3548   BKE_scene_frame_set(scene, frame);
3549
3550   if (seq->scene_camera) {
3551     camera = seq->scene_camera;
3552   }
3553   else {
3554     BKE_scene_camera_switch_update(scene);
3555     camera = scene->camera;
3556   }
3557
3558   if (have_comp == false && camera == NULL) {
3559     goto finally;
3560   }
3561
3562   if (seq->flag & SEQ_SCENE_NO_GPENCIL) {
3563     use_gpencil = false;
3564   }
3565
3566   /* prevent eternal loop */
3567   scene->r.scemode &= ~R_DOSEQ;
3568
3569 #ifdef DURIAN_CAMERA_SWITCH
3570   /* stooping to new low's in hackyness :( */
3571   scene->r.mode |= R_NO_CAMERA_SWITCH;
3572 #endif
3573
3574   is_frame_update = (orig_data.cfra != scene->r.cfra) || (orig_data.subframe != scene->r.subframe);
3575
3576   if ((sequencer_view3d_fn && do_seq_gl && camera) && is_thread_main) {
3577     char err_out[256] = "unknown";
3578     const int width = (scene->r.xsch * scene->r.size) / 100;
3579     const int height = (scene->r.ysch * scene->r.size) / 100;
3580     const char *viewname = BKE_scene_multiview_render_view_name_get(&scene->r, context->view_id);
3581
3582     unsigned int draw_flags = V3D_OFSDRAW_NONE;
3583     draw_flags |= (use_gpencil) ? V3D_OFSDRAW_SHOW_ANNOTATION : 0;
3584     draw_flags |= (context->scene->r.seq_flag & R_SEQ_OVERRIDE_SCENE_SETTINGS) ?
3585                       V3D_OFSDRAW_OVERRIDE_SCENE_SETTINGS :
3586                       0;
3587
3588     /* for old scene this can be uninitialized,
3589      * should probably be added to do_versions at some point if the functionality stays */
3590     if (context->scene->r.seq_prev_type == 0) {
3591       context->scene->r.seq_prev_type = 3 /* == OB_SOLID */;
3592     }
3593
3594     /* opengl offscreen render */
3595     depsgraph = BKE_scene_get_depsgraph(context->bmain, scene, view_layer, true);
3596     BKE_scene_graph_update_for_newframe(depsgraph, context->bmain);
3597     ibuf = sequencer_view3d_fn(
3598         /* set for OpenGL render (NULL when scrubbing) */
3599         depsgraph,
3600         scene,
3601         &context->scene->display.shading,
3602         context->scene->r.seq_prev_type,
3603         camera,
3604         width,
3605         height,
3606         IB_rect,
3607         draw_flags,
3608         scene->r.alphamode,
3609         viewname,
3610         context->gpu_offscreen,
3611         err_out);
3612     if (ibuf == NULL) {
3613       fprintf(stderr, "seq_render_scene_strip failed to get opengl buffer: %s\n", err_out);
3614     }
3615   }
3616   else {
3617     Render *re = RE_GetSceneRender(scene);
3618     const int totviews = BKE_scene_multiview_num_views_get(&scene->r);
3619     ImBuf **ibufs_arr;
3620
3621     ibufs_arr = MEM_callocN(sizeof(ImBuf *) * totviews, "Sequence Image Views Imbufs");
3622
3623     /* XXX: this if can be removed when sequence preview rendering uses the job system
3624      *
3625      * disable rendered preview for sequencer while rendering -- it's very much possible
3626      * that preview render will went into conflict with final render
3627      *
3628      * When rendering from command line renderer is called from main thread, in this
3629      * case it's always safe to render scene here
3630      */
3631     if (!is_thread_main || is_rendering == false || is_background || context->for_render) {
3632       if (re == NULL) {
3633         re = RE_NewSceneRender(scene);
3634       }
3635
3636       RE_RenderFrame(
3637           re, context->bmain, scene, have_comp ? NULL : view_layer, camera, frame, false);
3638
3639       /* restore previous state after it was toggled on & off by RE_RenderFrame */
3640       G.is_rendering = is_rendering;
3641     }
3642
3643     for (int view_id = 0; view_id < totviews; view_id++) {
3644       SeqRenderData localcontext = *context;
3645       RenderResult rres;
3646
3647       localcontext.view_id = view_id;
3648
3649       RE_AcquireResultImage(re, &rres, view_id);
3650
3651       if (rres.rectf) {
3652         ibufs_arr[view_id] = IMB_allocImBuf(rres.rectx, rres.recty, 32, IB_rectfloat);
3653         memcpy(ibufs_arr[view_id]->rect_float,
3654                rres.rectf,
3655                sizeof(float[4]) * rres.rectx * rres.recty);
3656
3657         if (rres.rectz) {
3658           addzbuffloatImBuf(ibufs_arr[view_id]);
3659           memcpy(
3660               ibufs_arr[view_id]->zbuf_float, rres.rectz, sizeof(float) * rres.rectx * rres.recty);
3661         }
3662
3663         /* float buffers in the sequencer are not linear */
3664         BKE_sequencer_imbuf_to_sequencer_space(context->scene, ibufs_arr[view_id], false);
3665       }
3666       else if (rres.rect32) {
3667         ibufs_arr[view_id] = IMB_allocImBuf(rres.rectx, rres.recty, 32, IB_rect);
3668         memcpy(ibufs_arr[view_id]->rect, rres.rect32, 4 * rres.rectx * rres.recty);
3669       }
3670
3671       if (view_id != context->view_id) {
3672         BKE_sequencer_cache_put(
3673             &localcontext, seq, cfra, SEQ_CACHE_STORE_RAW, ibufs_arr[view_id], 0, false);
3674       }
3675
3676       RE_ReleaseResultImage(re);
3677     }
3678
3679     /* return the original requested ImBuf */
3680     ibuf = ibufs_arr[context->view_id];
3681
3682     /* "remove" the others (decrease their refcount) */
3683     for (int view_id = 0; view_id < totviews; view_id++) {
3684       if (ibufs_arr[view_id] != ibuf) {
3685         IMB_freeImBuf(ibufs_arr[view_id]);
3686       }
3687     }
3688     MEM_freeN(ibufs_arr);
3689   }
3690
3691 finally:
3692   /* restore */
3693   scene->r.scemode = orig_data.scemode;
3694   scene->r.cfra = orig_data.cfra;
3695   scene->r.subframe = orig_data.subframe;
3696
3697   if (is_frame_update && (depsgraph != NULL)) {
3698     BKE_scene_graph_update_for_newframe(depsgraph, context->bmain);
3699   }
3700
3701 #ifdef DURIAN_CAMERA_SWITCH
3702   /* stooping to new low's in hackyness :( */
3703   scene->r.mode &= orig_data.mode | ~R_NO_CAMERA_SWITCH;
3704 #endif
3705
3706   return ibuf;
3707 }
3708
3709 /**
3710  * Used for meta-strips & scenes with #SEQ_SCENE_STRIPS flag set.
3711  */
3712 static ImBuf *do_render_strip_seqbase(const SeqRenderData *context,
3713                                       SeqRenderState *state,
3714                                       Sequence *seq,
3715                                       float nr)
3716 {
3717   ImBuf *ibuf = NULL;
3718   ListBase *seqbase = NULL;
3719   int offset;
3720
3721   seqbase = BKE_sequence_seqbase_get(seq, &offset);
3722
3723   if (seqbase && !BLI_listbase_is_empty(seqbase)) {
3724
3725     if (seq->flag & SEQ_SCENE_STRIPS && seq->scene) {
3726       BKE_animsys_evaluate_all_animation(context->bmain, context->depsgraph, nr + offset);
3727     }
3728
3729     ibuf = seq_render_strip_stack(context,
3730                                   state,
3731                                   seqbase,
3732                                   /* scene strips don't have their start taken into account */
3733                                   nr + offset,
3734                                   0);
3735   }
3736
3737   return ibuf;
3738 }
3739
3740 static ImBuf *do_render_strip_uncached(const SeqRenderData *context,
3741                                        SeqRenderState *state,
3742                                        Sequence *seq,
3743                                        float cfra,
3744                                        bool *r_is_proxy_image)
3745 {
3746   ImBuf *ibuf = NULL;
3747   float nr = BKE_sequencer_give_stripelem_index(seq, cfra);
3748   int type = (seq->type & SEQ_TYPE_EFFECT) ? SEQ_TYPE_EFFECT : seq->type;
3749   switch (type) {
3750     case SEQ_TYPE_META: {
3751       ibuf = do_render_strip_seqbase(context, state, seq, nr);
3752       break;
3753     }
3754
3755     case SEQ_TYPE_SCENE: {
3756       if (seq->flag & SEQ_SCENE_STRIPS) {
3757         if (seq->scene && (context->scene != seq->scene)) {
3758           /* recursive check */
3759           if (BLI_linklist_index(state->scene_parents, seq->scene) != -1) {
3760             break;
3761           }
3762           LinkNode scene_parent = {
3763               .next = state->scene_parents,
3764               .link = seq->scene,
3765           };
3766           state->scene_parents = &scene_parent;
3767           /* end check */
3768
3769           /* Use the Scene Seq's scene for the context when rendering the scene's sequences
3770            * (necessary for Multicam Selector among others).
3771            */
3772           SeqRenderData local_context = *context;
3773           local_context.scene = seq->scene;
3774           local_context.skip_cache = true;
3775
3776           ibuf = do_render_strip_seqbase(&local_context, state, seq, nr);
3777
3778           /* step back in the list */
3779           state->scene_parents = state->scene_parents->next;
3780         }
3781       }
3782       else {
3783         /* scene can be NULL after deletions */
3784         ibuf = seq_render_scene_strip(context, seq, nr, cfra);
3785       }
3786
3787       break;
3788     }
3789
3790     case SEQ_TYPE_EFFECT: {
3791       ibuf = seq_render_effect_strip_impl(context, state, seq, cfra);
3792       break;
3793     }
3794
3795     case SEQ_TYPE_IMAGE: {
3796       ibuf = seq_render_image_strip(context, seq, nr, cfra, r_is_proxy_image);
3797       break;
3798     }
3799
3800     case SEQ_TYPE_MOVIE: {
3801       ibuf = seq_render_movie_strip(context, seq, nr, cfra, r_is_proxy_image);
3802       break;
3803     }
3804
3805     case SEQ_TYPE_MOVIECLIP: {
3806       ibuf = seq_render_movieclip_strip(context, seq, nr, r_is_proxy_image);
3807
3808       if (ibuf) {
3809         /* duplicate frame so movie cache wouldn't be confused by sequencer's stuff */
3810         ImBuf *i = IMB_dupImBuf(ibuf);
3811         IMB_freeImBuf(ibuf);
3812         ibuf = i;
3813
3814         if (ibuf->rect_float) {
3815           BKE_sequencer_imbuf_to_sequencer_space(context->scene, ibuf, false);
3816         }
3817       }
3818
3819       break;
3820     }
3821
3822     case SEQ_TYPE_MASK: {
3823       /* ibuf is always new */
3824       ibuf = seq_render_mask_strip(context, seq, nr);
3825       break;
3826     }
3827   }
3828
3829   if (ibuf) {
3830     sequencer_imbuf_assign_spaces(context->scene, ibuf);
3831   }
3832
3833   return ibuf;
3834 }
3835
3836 /* Estimate time spent by the program rendering the strip */
3837 static clock_t seq_estimate_render_cost_begin(void)
3838 {
3839   return clock();
3840 }
3841
3842 static float seq_estimate_render_cost_end(Scene *scene, clock_t begin)
3843 {
3844   clock_t end = clock();
3845   float time_spent = (float)(end - begin);
3846   float time_max = (1.0f / scene->r.frs_sec) * CLOCKS_PER_SEC;
3847
3848   if (time_max != 0) {
3849     return time_spent / time_max;
3850   }
3851
3852   return 1;
3853 }
3854
3855 static ImBuf *seq_render_preprocess_ibuf(const SeqRenderData *context,
3856                                          Sequence *seq,
3857                                          ImBuf *ibuf,
3858                                          float cfra,
3859                                          clock_t begin,
3860                                          bool use_preprocess,
3861                                          const bool is_proxy_image)
3862 {
3863   if (context->is_proxy_render == false &&
3864       (ibuf->x != context->rectx || ibuf->y != context->recty)) {
3865     use_preprocess = true;
3866   }
3867
3868   if (use_preprocess) {
3869     float cost = seq_estimate_render_cost_end(context->scene, begin);
3870
3871     /* TODO (Richard): It should be possible to store in cache if image is proxy,
3872      * but it adds quite a bit of complexity. Since proxies are fast to read, I would
3873      * rather simplify existing code a bit. */
3874     if (!is_proxy_image) {
3875       BKE_sequencer_cache_put(context, seq, cfra, SEQ_CACHE_STORE_RAW, ibuf, cost, false);
3876     }
3877
3878     /* Reset timer so we can get partial render time. */
3879     begin = seq_estimate_render_cost_begin();
3880     ibuf = input_preprocess(context, seq, cfra, ibuf, is_proxy_image);
3881   }
3882
3883   float cost = seq_estimate_render_cost_end(context->scene, begin);
3884   BKE_sequencer_cache_put(context, seq, cfra, SEQ_CACHE_STORE_PREPROCESSED, ibuf, cost, false);
3885   return ibuf;
3886 }
3887
3888 static ImBuf *seq_render_strip(const SeqRenderData *context,
3889                                SeqRenderState *state,
3890                                Sequence *seq,
3891                                float cfra)
3892 {
3893   ImBuf *ibuf = NULL;
3894   bool use_preprocess = false;
3895   bool is_proxy_image = false;
3896
3897   clock_t begin = seq_estimate_render_cost_begin();
3898
3899   ibuf = BKE_sequencer_cache_get(context, seq, cfra, SEQ_CACHE_STORE_PREPROCESSED, false);
3900   if (ibuf != NULL) {
3901     return ibuf;
3902   }
3903
3904   ibuf = BKE_sequencer_cache_get(context, seq, cfra, SEQ_CACHE_STORE_RAW, false);
3905   if (ibuf == NULL) {
3906     ibuf = do_render_strip_uncached(context, state, seq, cfra, &is_proxy_image);
3907   }
3908
3909   if (ibuf) {
3910     use_preprocess = BKE_sequencer_input_have_to_preprocess(context, seq, cfra);
3911     ibuf = seq_render_preprocess_ibuf(
3912         context, seq, ibuf, cfra, begin, use_preprocess, is_proxy_image);
3913   }
3914
3915   if (ibuf == NULL) {
3916     ibuf = IMB_allocImBuf(context->rectx, context->recty, 32, IB_rect);
3917     sequencer_imbuf_assign_spaces(context->scene, ibuf);
3918   }
3919
3920   return ibuf;
3921 }
3922
3923 /*********************** strip stack rendering functions *************************/
3924
3925 static bool seq_must_swap_input_in_blend_mode(Sequence *seq)
3926 {
3927   bool swap_input = false;
3928
3929   /* bad hack, to fix crazy input ordering of
3930    * those two effects */
3931
3932   if (ELEM(seq->blend_mode, SEQ_TYPE_ALPHAOVER, SEQ_TYPE_ALPHAUNDER, SEQ_TYPE_OVERDROP)) {
3933     swap_input = true;
3934   }
3935
3936   return swap_input;
3937 }
3938
3939 static int seq_get_early_out_for_blend_mode(Sequence *seq)
3940 {
3941   struct SeqEffectHandle sh = BKE_sequence_get_blend(seq);
3942   float facf = seq->blend_opacity / 100.0f;
3943   int early_out = sh.early_out(seq, facf, facf);
3944
3945   if (ELEM(early_out, EARLY_DO_EFFECT, EARLY_NO_INPUT)) {
3946     return early_out;
3947   }
3948
3949   if (seq_must_swap_input_in_blend_mode(seq)) {
3950     if (early_out == EARLY_USE_INPUT_2) {
3951       return EARLY_USE_INPUT_1;
3952     }
3953     if (early_out == EARLY_USE_INPUT_1) {
3954       return EARLY_USE_INPUT_2;
3955     }
3956   }
3957   return early_out;
3958 }
3959
3960 static ImBuf *seq_render_strip_stack_apply_effect(
3961     const SeqRenderData *context, Sequence *seq, float cfra, ImBuf *ibuf1, ImBuf *ibuf2)
3962 {
3963   ImBuf *out;
3964   struct SeqEffectHandle sh = BKE_sequence_get_blend(seq);
3965   float facf = seq->blend_opacity / 100.0f;
3966   int swap_input = seq_must_swap_input_in_blend_mode(seq);
3967
3968   if (swap_input) {
3969     if (sh.multithreaded) {
3970       out = BKE_sequencer_effect_execute_threaded(
3971           &sh, context, seq, cfra, facf, facf, ibuf2, ibuf1, NULL);
3972     }
3973     else {
3974       out = sh.execute(context, seq, cfra, facf, facf, ibuf2, ibuf1, NULL);
3975     }
3976   }
3977   else {
3978     if (sh.multithreaded) {
3979       out = BKE_sequencer_effect_execute_threaded(
3980           &sh, context, seq, cfra, facf, facf, ibuf1, ibuf2, NULL);
3981     }
3982     else {
3983       out = sh.execute(context, seq, cfra, facf, facf, ibuf1, ibuf2, NULL);
3984     }
3985   }
3986
3987   return out;
3988 }
3989
3990 static ImBuf *seq_render_strip_stack(const SeqRenderData *context,
3991                                      SeqRenderState *state,
3992                                      ListBase *seqbasep,
3993                                      float cfra,
3994                                      int chanshown)
3995 {
3996   Sequence *seq_arr[MAXSEQ + 1];
3997   int count;
3998   int i;
3999   ImBuf *out = NULL;
4000   clock_t begin;
4001
4002   count = BKE_sequencer_get_shown_sequences(seqbasep, cfra, chanshown, (Sequence **)&seq_arr);
4003
4004   if (count == 0) {
4005     return NULL;
4006   }
4007
4008   for (i = count - 1; i >= 0; i--) {
4009     int early_out;
4010     Sequence *seq = seq_arr[i];
4011
4012     out = BKE_sequencer_cache_get(context, seq, cfra, SEQ_CACHE_STORE_COMPOSITE, false);
4013
4014     if (out) {
4015       break;
4016     }
4017     if (seq->blend_mode == SEQ_BLEND_REPLACE) {
4018       out = seq_render_strip(context, state, seq, cfra);
4019       break;
4020     }
4021
4022     early_out = seq_get_early_out_for_blend_mode(seq);
4023
4024     switch (early_out) {
4025       case EARLY_NO_INPUT:
4026       case EARLY_USE_INPUT_2:
4027         out = seq_render_strip(context, state, seq, cfra);
4028         break;
4029       case EARLY_USE_INPUT_1:
4030         if (i == 0) {
4031           out = IMB_allocImBuf(context->rectx, context->recty, 32, IB_rect);
4032         }
4033         break;
4034       case EARLY_DO_EFFECT:
4035         if (i == 0) {
4036           begin = seq_estimate_render_cost_begin();
4037
4038           ImBuf *ibuf1 = IMB_allocImBuf(context->rectx, context->recty, 32, IB_rect);
4039           ImBuf *ibuf2 = seq_render_strip(context, state, seq, cfra);
4040
4041           out = seq_render_strip_stack_apply_effect(context, seq, cfra, ibuf1, ibuf2);
4042
4043           float cost = seq_estimate_render_cost_end(context->scene, begin);
4044           BKE_sequencer_cache_put(
4045               context, seq_arr[i], cfra, SEQ_CACHE_STORE_COMPOSITE, out, cost, false);
4046
4047           IMB_freeImBuf(ibuf1);
4048           IMB_freeImBuf(ibuf2);
4049         }
4050         break;
4051     }
4052     if (out) {
4053       break;
4054     }
4055   }
4056
4057   i++;
4058   for (; i < count; i++) {
4059     begin = seq_estimate_render_cost_begin();
4060     Sequence *seq = seq_arr[i];
4061
4062     if (seq_get_early_out_for_blend_mode(seq) == EARLY_DO_EFFECT) {
4063       ImBuf *ibuf1 = out;
4064       ImBuf *ibuf2 = seq_render_strip(context, state, seq, cfra);
4065
4066       out = seq_render_strip_stack_apply_effect(context, seq, cfra, ibuf1, ibuf2);
4067
4068       IMB_freeImBuf(ibuf1);
4069       IMB_freeImBuf(ibuf2);
4070     }
4071
4072     float cost = seq_estimate_render_cost_end(context->scene, begin);
4073     BKE_sequencer_cache_put(
4074         context, seq_arr[i], cfra, SEQ_CACHE_STORE_COMPOSITE, out, cost, false);
4075   }
4076
4077   return out;
4078 }
4079
4080 /*
4081  * returned ImBuf is refed!
4082  * you have to free after usage!
4083  */
4084
4085 ImBuf *BKE_sequencer_give_ibuf(const SeqRenderData *context, float cfra, int chanshown)
4086 {
4087   Scene *scene = context->scene;
4088   Editing *ed = BKE_sequencer_editing_get(scene, false);
4089   ListBase *seqbasep;
4090
4091   if (ed == NULL) {
4092     return NULL;
4093   }
4094
4095   if ((chanshown < 0) && !BLI_listbase_is_empty(&ed->metastack)) {
4096     int count = BLI_listbase_count(&ed->metastack);
4097     count = max_ii(count + chanshown, 0);
4098     seqbasep = ((MetaStack *)BLI_findlink(&ed->metastack, count))->oldbasep;
4099   }
4100   else {
4101     seqbasep = ed->seqbasep;
4102   }
4103
4104   SeqRenderState state;
4105   sequencer_state_init(&state);
4106   ImBuf *out = NULL;
4107   Sequence *seq_arr[MAXSEQ + 1];
4108   int count;
4109
4110   count = BKE_sequencer_get_shown_sequences(seqbasep, cfra, chanshown, seq_arr);
4111
4112   if (count) {
4113     out = BKE_sequencer_cache_get(
4114         context, seq_arr[count - 1], cfra, SEQ_CACHE_STORE_FINAL_OUT, false);
4115   }
4116
4117   BKE_sequencer_cache_free_temp_cache(context->scene, context->task_id, cfra);
4118
4119   clock_t begin = seq_estimate_render_cost_begin();
4120   float cost = 0;
4121
4122   if (count && !out) {
4123     BLI_mutex_lock(&seq_render_mutex);
4124     out = seq_render_strip_stack(context, &state, seqbasep, cfra, chanshown);
4125     cost = seq_estimate_render_cost_end(context->scene, begin);
4126
4127     if (context->is_prefetch_render) {
4128       BKE_sequencer_cache_put(
4129           context, seq_arr[count - 1], cfra, SEQ_CACHE_STORE_FINAL_OUT, out, cost, false);
4130     }
4131     else {
4132       BKE_sequencer_cache_put_if_possible(
4133           context, seq_arr[count - 1], cfra, SEQ_CACHE_STORE_FINAL_OUT, out, cost, false);
4134     }
4135     BLI_mutex_unlock(&seq_render_mutex);
4136   }
4137
4138   BKE_sequencer_prefetch_start(context, cfra, cost);
4139
4140   return out;
4141 }
4142
4143 ImBuf *BKE_sequencer_give_ibuf_seqbase(const SeqRenderData *context,
4144                                        float cfra,
4145                                        int chanshown,
4146                                        ListBase *seqbasep)
4147 {
4148   SeqRenderState state;
4149   sequencer_state_init(&state);
4150
4151   return seq_render_strip_stack(context, &state, seqbasep, cfra, chanshown);
4152 }
4153
4154 ImBuf *BKE_sequencer_give_ibuf_direct(const SeqRenderData *context, float cfra, Sequence *seq)
4155 {
4156   SeqRenderState state;
4157   sequencer_state_init(&state);
4158
4159   ImBuf *ibuf = seq_render_strip(context, &state, seq, cfra);
4160
4161   return ibuf;
4162 }
4163
4164 /* check whether sequence cur depends on seq */
4165 bool BKE_sequence_check_depend(Sequence *seq, Sequence *cur)
4166 {
4167   if (cur->seq1 == seq || cur->seq2 == seq || cur->seq3 == seq) {
4168     return true;
4169   }
4170
4171   /* sequences are not intersecting in time, assume no dependency exists between them */
4172   if (cur->enddisp < seq->startdisp || cur->startdisp > seq->enddisp) {
4173     return false;
4174   }
4175
4176   /* checking sequence is below reference one, not dependent on it */
4177   if (cur->machine < seq->machine) {
4178     return false;
4179   }
4180
4181   /* sequence is not blending with lower machines, no dependency here occurs
4182    * check for non-effects only since effect could use lower machines as input
4183    */
4184   if ((cur->type & SEQ_TYPE_EFFECT) == 0 &&
4185       ((cur->blend_mode == SEQ_BLEND_REPLACE) ||
4186        (cur->blend_mode == SEQ_TYPE_CROSS && cur->blend_opacity == 100.0f))) {
4187     return false;
4188   }
4189
4190   return true;
4191 }
4192
4193 static void sequence_do_invalidate_dependent(Scene *scene, Sequence *seq, ListBase *seqbase)
4194 {
4195   Sequence *cur;
4196
4197   for (cur = seqbase->first; cur; cur = cur->next) {
4198     if (cur == seq) {
4199       continue;
4200     }
4201
4202     if (BKE_sequence_check_depend(seq, cur)) {
4203       /* Effect must be invalidated completely if they depend on invalidated seq. */
4204       if ((cur->type & SEQ_TYPE_EFFECT) != 0) {