Cleanup: style, use braces for blenkernel
[blender.git] / source / blender / blenkernel / intern / sequencer.c
1 /*
2  * This program is free software; you can redistribute it and/or
3  * modify it under the terms of the GNU General Public License
4  * as published by the Free Software Foundation; either version 2
5  * of the License, or (at your option) any later version.
6  *
7  * This program is distributed in the hope that it will be useful,
8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
10  * GNU General Public License for more details.
11  *
12  * You should have received a copy of the GNU General Public License
13  * along with this program; if not, write to the Free Software Foundation,
14  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
15  *
16  * The Original Code is Copyright (C) 2001-2002 by NaN Holding BV.
17  * All rights reserved.
18  *
19  * - Blender Foundation, 2003-2009
20  * - Peter Schlaile <peter [at] schlaile [dot] de> 2005/2006
21  */
22
23 /** \file
24  * \ingroup bke
25  */
26
27 #include <stddef.h>
28 #include <stdlib.h>
29 #include <string.h>
30 #include <math.h>
31
32 #include "MEM_guardedalloc.h"
33
34 #include "DNA_sequence_types.h"
35 #include "DNA_movieclip_types.h"
36 #include "DNA_mask_types.h"
37 #include "DNA_scene_types.h"
38 #include "DNA_anim_types.h"
39 #include "DNA_object_types.h"
40 #include "DNA_sound_types.h"
41
42 #include "BLI_math.h"
43 #include "BLI_fileops.h"
44 #include "BLI_listbase.h"
45 #include "BLI_linklist.h"
46 #include "BLI_path_util.h"
47 #include "BLI_string.h"
48 #include "BLI_string_utf8.h"
49 #include "BLI_threads.h"
50 #include "BLI_utildefines.h"
51
52 #ifdef WIN32
53 #  include "BLI_winstuff.h"
54 #else
55 #  include <unistd.h>
56 #endif
57
58 #include "BLT_translation.h"
59
60 #include "BKE_animsys.h"
61 #include "BKE_global.h"
62 #include "BKE_image.h"
63 #include "BKE_layer.h"
64 #include "BKE_main.h"
65 #include "BKE_sequencer.h"
66 #include "BKE_movieclip.h"
67 #include "BKE_fcurve.h"
68 #include "BKE_scene.h"
69 #include "BKE_mask.h"
70 #include "BKE_library.h"
71 #include "BKE_idprop.h"
72
73 #include "DEG_depsgraph.h"
74 #include "DEG_depsgraph_query.h"
75
76 #include "RNA_access.h"
77
78 #include "RE_pipeline.h"
79
80 #include <pthread.h>
81
82 #include "IMB_imbuf.h"
83 #include "IMB_imbuf_types.h"
84 #include "IMB_colormanagement.h"
85 #include "IMB_metadata.h"
86
87 #include "BKE_context.h"
88 #include "BKE_sound.h"
89
90 #include "RE_engine.h"
91
92 #ifdef WITH_AUDASPACE
93 #  include <AUD_Special.h>
94 #endif
95
96 /* mutable state for sequencer */
97 typedef struct SeqRenderState {
98   LinkNode *scene_parents;
99 } SeqRenderState;
100
101 static ImBuf *seq_render_strip_stack(const SeqRenderData *context,
102                                      SeqRenderState *state,
103                                      ListBase *seqbasep,
104                                      float cfra,
105                                      int chanshown);
106 static ImBuf *seq_render_strip(const SeqRenderData *context,
107                                SeqRenderState *state,
108                                Sequence *seq,
109                                float cfra);
110 static void seq_free_animdata(Scene *scene, Sequence *seq);
111 static ImBuf *seq_render_mask(const SeqRenderData *context, Mask *mask, float nr, bool make_float);
112 static int seq_num_files(Scene *scene, char views_format, const bool is_multiview);
113 static void seq_anim_add_suffix(Scene *scene, struct anim *anim, const int view_id);
114
115 /* **** XXX ******** */
116 #define SELECT 1
117 ListBase seqbase_clipboard;
118 int seqbase_clipboard_frame;
119 SequencerDrawView sequencer_view3d_cb = NULL; /* NULL in background mode */
120
121 #if 0 /* unused function */
122 static void printf_strip(Sequence *seq)
123 {
124   fprintf(stderr,
125           "name: '%s', len:%d, start:%d, (startofs:%d, endofs:%d), "
126           "(startstill:%d, endstill:%d), machine:%d, (startdisp:%d, enddisp:%d)\n",
127           seq->name,
128           seq->len,
129           seq->start,
130           seq->startofs,
131           seq->endofs,
132           seq->startstill,
133           seq->endstill,
134           seq->machine,
135           seq->startdisp,
136           seq->enddisp);
137
138   fprintf(stderr,
139           "\tseq_tx_set_final_left: %d %d\n\n",
140           seq_tx_get_final_left(seq, 0),
141           seq_tx_get_final_right(seq, 0));
142 }
143 #endif
144
145 static void sequencer_state_init(SeqRenderState *state)
146 {
147   state->scene_parents = NULL;
148 }
149
150 int BKE_sequencer_base_recursive_apply(ListBase *seqbase,
151                                        int (*apply_func)(Sequence *seq, void *),
152                                        void *arg)
153 {
154   Sequence *iseq;
155   for (iseq = seqbase->first; iseq; iseq = iseq->next) {
156     if (BKE_sequencer_recursive_apply(iseq, apply_func, arg) == -1) {
157       return -1; /* bail out */
158     }
159   }
160   return 1;
161 }
162
163 int BKE_sequencer_recursive_apply(Sequence *seq, int (*apply_func)(Sequence *, void *), void *arg)
164 {
165   int ret = apply_func(seq, arg);
166
167   if (ret == -1) {
168     return -1; /* bail out */
169   }
170
171   if (ret && seq->seqbase.first) {
172     ret = BKE_sequencer_base_recursive_apply(&seq->seqbase, apply_func, arg);
173   }
174
175   return ret;
176 }
177
178 /*********************** alloc / free functions *************************/
179
180 /* free */
181
182 static void free_proxy_seq(Sequence *seq)
183 {
184   if (seq->strip && seq->strip->proxy && seq->strip->proxy->anim) {
185     IMB_free_anim(seq->strip->proxy->anim);
186     seq->strip->proxy->anim = NULL;
187   }
188 }
189
190 static void seq_free_strip(Strip *strip)
191 {
192   strip->us--;
193   if (strip->us > 0) {
194     return;
195   }
196   if (strip->us < 0) {
197     printf("error: negative users in strip\n");
198     return;
199   }
200
201   if (strip->stripdata) {
202     MEM_freeN(strip->stripdata);
203   }
204
205   if (strip->proxy) {
206     if (strip->proxy->anim) {
207       IMB_free_anim(strip->proxy->anim);
208     }
209
210     MEM_freeN(strip->proxy);
211   }
212   if (strip->crop) {
213     MEM_freeN(strip->crop);
214   }
215   if (strip->transform) {
216     MEM_freeN(strip->transform);
217   }
218
219   MEM_freeN(strip);
220 }
221
222 /* only give option to skip cache locally (static func) */
223 static void BKE_sequence_free_ex(Scene *scene,
224                                  Sequence *seq,
225                                  const bool do_cache,
226                                  const bool do_id_user)
227 {
228   if (seq->strip) {
229     seq_free_strip(seq->strip);
230   }
231
232   BKE_sequence_free_anim(seq);
233
234   if (seq->type & SEQ_TYPE_EFFECT) {
235     struct SeqEffectHandle sh = BKE_sequence_get_effect(seq);
236     sh.free(seq, do_id_user);
237   }
238
239   if (seq->sound && do_id_user) {
240     id_us_min(((ID *)seq->sound));
241   }
242
243   if (seq->stereo3d_format) {
244     MEM_freeN(seq->stereo3d_format);
245   }
246
247   /* clipboard has no scene and will never have a sound handle or be active
248    * same goes to sequences copy for proxy rebuild job
249    */
250   if (scene) {
251     Editing *ed = scene->ed;
252
253     if (ed->act_seq == seq) {
254       ed->act_seq = NULL;
255     }
256
257     if (seq->scene_sound && ELEM(seq->type, SEQ_TYPE_SOUND_RAM, SEQ_TYPE_SCENE)) {
258       BKE_sound_remove_scene_sound(scene, seq->scene_sound);
259     }
260
261     seq_free_animdata(scene, seq);
262   }
263
264   if (seq->prop) {
265     IDP_FreeProperty_ex(seq->prop, do_id_user);
266     MEM_freeN(seq->prop);
267   }
268
269   /* free modifiers */
270   BKE_sequence_modifier_clear(seq);
271
272   /* free cached data used by this strip,
273    * also invalidate cache for all dependent sequences
274    *
275    * be _very_ careful here, invalidating cache loops over the scene sequences and
276    * assumes the listbase is valid for all strips, this may not be the case if lists are being freed.
277    * this is optional BKE_sequence_invalidate_cache
278    */
279   if (do_cache) {
280     if (scene) {
281       BKE_sequence_invalidate_cache(scene, seq);
282     }
283   }
284
285   MEM_freeN(seq);
286 }
287
288 void BKE_sequence_free(Scene *scene, Sequence *seq)
289 {
290   BKE_sequence_free_ex(scene, seq, true, true);
291 }
292
293 /* Function to free imbuf and anim data on changes */
294 void BKE_sequence_free_anim(Sequence *seq)
295 {
296   while (seq->anims.last) {
297     StripAnim *sanim = seq->anims.last;
298
299     if (sanim->anim) {
300       IMB_free_anim(sanim->anim);
301       sanim->anim = NULL;
302     }
303
304     BLI_freelinkN(&seq->anims, sanim);
305   }
306   BLI_listbase_clear(&seq->anims);
307 }
308
309 /* cache must be freed before calling this function
310  * since it leaves the seqbase in an invalid state */
311 static void seq_free_sequence_recurse(Scene *scene, Sequence *seq, const bool do_id_user)
312 {
313   Sequence *iseq, *iseq_next;
314
315   for (iseq = seq->seqbase.first; iseq; iseq = iseq_next) {
316     iseq_next = iseq->next;
317     seq_free_sequence_recurse(scene, iseq, do_id_user);
318   }
319
320   BKE_sequence_free_ex(scene, seq, false, do_id_user);
321 }
322
323 Editing *BKE_sequencer_editing_get(Scene *scene, bool alloc)
324 {
325   if (alloc) {
326     BKE_sequencer_editing_ensure(scene);
327   }
328   return scene->ed;
329 }
330
331 void BKE_sequencer_free_clipboard(void)
332 {
333   Sequence *seq, *nseq;
334
335   BKE_sequencer_base_clipboard_pointers_free(&seqbase_clipboard);
336
337   for (seq = seqbase_clipboard.first; seq; seq = nseq) {
338     nseq = seq->next;
339     seq_free_sequence_recurse(NULL, seq, false);
340   }
341   BLI_listbase_clear(&seqbase_clipboard);
342 }
343
344 /* -------------------------------------------------------------------- */
345 /* Manage pointers in the clipboard.
346  * note that these pointers should _never_ be access in the sequencer,
347  * they are only for storage while in the clipboard
348  * notice 'newid' is used for temp pointer storage here, validate on access (this is safe usage,
349  * since those datablocks are fully out of Main lists).
350  */
351 #define ID_PT (*id_pt)
352 static void seqclipboard_ptr_free(Main *UNUSED(bmain), ID **id_pt)
353 {
354   if (ID_PT) {
355     BLI_assert(ID_PT->newid != NULL);
356     MEM_freeN(ID_PT);
357     ID_PT = NULL;
358   }
359 }
360 static void seqclipboard_ptr_store(Main *UNUSED(bmain), ID **id_pt)
361 {
362   if (ID_PT) {
363     ID *id_prev = ID_PT;
364     ID_PT = MEM_dupallocN(ID_PT);
365     ID_PT->newid = id_prev;
366   }
367 }
368 static void seqclipboard_ptr_restore(Main *bmain, ID **id_pt)
369 {
370   if (ID_PT) {
371     const ListBase *lb = which_libbase(bmain, GS(ID_PT->name));
372     void *id_restore;
373
374     BLI_assert(ID_PT->newid != NULL);
375     if (BLI_findindex(lb, (ID_PT)->newid) != -1) {
376       /* the pointer is still valid */
377       id_restore = (ID_PT)->newid;
378     }
379     else {
380       /* the pointer of the same name still exists  */
381       id_restore = BLI_findstring(lb, (ID_PT)->name + 2, offsetof(ID, name) + 2);
382     }
383
384     if (id_restore == NULL) {
385       /* check for a data with the same filename */
386       switch (GS(ID_PT->name)) {
387         case ID_SO: {
388           id_restore = BLI_findstring(lb, ((bSound *)ID_PT)->name, offsetof(bSound, name));
389           if (id_restore == NULL) {
390             id_restore = BKE_sound_new_file(bmain, ((bSound *)ID_PT)->name);
391             (ID_PT)->newid = id_restore; /* reuse next time */
392           }
393           break;
394         }
395         case ID_MC: {
396           id_restore = BLI_findstring(lb, ((MovieClip *)ID_PT)->name, offsetof(MovieClip, name));
397           if (id_restore == NULL) {
398             id_restore = BKE_movieclip_file_add(bmain, ((MovieClip *)ID_PT)->name);
399             (ID_PT)->newid = id_restore; /* reuse next time */
400           }
401           break;
402         }
403         default:
404           break;
405       }
406     }
407
408     /* Replace with pointer to actual datablock. */
409     seqclipboard_ptr_free(bmain, id_pt);
410     ID_PT = id_restore;
411   }
412 }
413 #undef ID_PT
414
415 static void sequence_clipboard_pointers(Main *bmain,
416                                         Sequence *seq,
417                                         void (*callback)(Main *, ID **))
418 {
419   callback(bmain, (ID **)&seq->scene);
420   callback(bmain, (ID **)&seq->scene_camera);
421   callback(bmain, (ID **)&seq->clip);
422   callback(bmain, (ID **)&seq->mask);
423   callback(bmain, (ID **)&seq->sound);
424
425   if (seq->type == SEQ_TYPE_TEXT && seq->effectdata) {
426     TextVars *text_data = seq->effectdata;
427     callback(bmain, (ID **)&text_data->text_font);
428   }
429 }
430
431 /* recursive versions of functions above */
432 void BKE_sequencer_base_clipboard_pointers_free(ListBase *seqbase)
433 {
434   Sequence *seq;
435   for (seq = seqbase->first; seq; seq = seq->next) {
436     sequence_clipboard_pointers(NULL, seq, seqclipboard_ptr_free);
437     BKE_sequencer_base_clipboard_pointers_free(&seq->seqbase);
438   }
439 }
440 void BKE_sequencer_base_clipboard_pointers_store(Main *bmain, ListBase *seqbase)
441 {
442   Sequence *seq;
443   for (seq = seqbase->first; seq; seq = seq->next) {
444     sequence_clipboard_pointers(bmain, seq, seqclipboard_ptr_store);
445     BKE_sequencer_base_clipboard_pointers_store(bmain, &seq->seqbase);
446   }
447 }
448 void BKE_sequencer_base_clipboard_pointers_restore(ListBase *seqbase, Main *bmain)
449 {
450   Sequence *seq;
451   for (seq = seqbase->first; seq; seq = seq->next) {
452     sequence_clipboard_pointers(bmain, seq, seqclipboard_ptr_restore);
453     BKE_sequencer_base_clipboard_pointers_restore(&seq->seqbase, bmain);
454   }
455 }
456
457 /* end clipboard pointer mess */
458
459 Editing *BKE_sequencer_editing_ensure(Scene *scene)
460 {
461   if (scene->ed == NULL) {
462     Editing *ed;
463
464     ed = scene->ed = MEM_callocN(sizeof(Editing), "addseq");
465     ed->seqbasep = &ed->seqbase;
466   }
467
468   return scene->ed;
469 }
470
471 void BKE_sequencer_editing_free(Scene *scene, const bool do_id_user)
472 {
473   Editing *ed = scene->ed;
474   Sequence *seq;
475
476   if (ed == NULL) {
477     return;
478   }
479
480   /* this may not be the active scene!, could be smarter about this */
481   BKE_sequencer_cache_cleanup();
482
483   SEQ_BEGIN (ed, seq) {
484     /* handle cache freeing above */
485     BKE_sequence_free_ex(scene, seq, false, do_id_user);
486   }
487   SEQ_END;
488
489   BLI_freelistN(&ed->metastack);
490
491   MEM_freeN(ed);
492
493   scene->ed = NULL;
494 }
495
496 /*********************** Sequencer color space functions  *************************/
497
498 static void sequencer_imbuf_assign_spaces(Scene *scene, ImBuf *ibuf)
499 {
500 #if 0
501   /* Bute buffer is supposed to be in sequencer working space already. */
502   if (ibuf->rect != NULL) {
503     IMB_colormanagement_assign_rect_colorspace(ibuf, scene->sequencer_colorspace_settings.name);
504   }
505 #endif
506   if (ibuf->rect_float != NULL) {
507     IMB_colormanagement_assign_float_colorspace(ibuf, scene->sequencer_colorspace_settings.name);
508   }
509 }
510
511 void BKE_sequencer_imbuf_to_sequencer_space(Scene *scene, ImBuf *ibuf, bool make_float)
512 {
513   /* Early output check: if both buffers are NULL we have nothing to convert. */
514   if (ibuf->rect_float == NULL && ibuf->rect == NULL) {
515     return;
516   }
517   /* Get common conversion settings. */
518   const char *to_colorspace = scene->sequencer_colorspace_settings.name;
519   /* Perform actual conversion logic. */
520   if (ibuf->rect_float == NULL) {
521     /* We are not requested to give float buffer and byte buffer is already
522      * in thee required colorspace. Can skip doing anything here.
523      */
524     const char *from_colorspace = IMB_colormanagement_get_rect_colorspace(ibuf);
525     if (!make_float && STREQ(from_colorspace, to_colorspace)) {
526       return;
527     }
528     if (false) {
529       /* The idea here is to provide as fast playback as possible and
530        * enforcing float buffer here (a) uses more cache memory (b) might
531        * make some other effects slower to apply.
532        *
533        * However, this might also have negative effect by adding weird
534        * artifacts which will then not happen in final render.
535        */
536       IMB_colormanagement_transform_byte_threaded((unsigned char *)ibuf->rect,
537                                                   ibuf->x,
538                                                   ibuf->y,
539                                                   ibuf->channels,
540                                                   from_colorspace,
541                                                   to_colorspace);
542     }
543     else {
544       /* We perform conversion to a float buffer so we don't worry about
545        * precision loss.
546        */
547       imb_addrectfloatImBuf(ibuf);
548       IMB_colormanagement_transform_from_byte_threaded(ibuf->rect_float,
549                                                        (unsigned char *)ibuf->rect,
550                                                        ibuf->x,
551                                                        ibuf->y,
552                                                        ibuf->channels,
553                                                        from_colorspace,
554                                                        to_colorspace);
555       /* We don't need byte buffer anymore. */
556       imb_freerectImBuf(ibuf);
557     }
558   }
559   else {
560     const char *from_colorspace = IMB_colormanagement_get_float_colorspace(ibuf);
561     /* Unknown input color space, can't perform conversion. */
562     if (from_colorspace == NULL || from_colorspace[0] == '\0') {
563       return;
564     }
565     /* We don't want both byte and float buffers around: they'll either run
566      * out of sync or conversion of byte buffer will loose precision in there.
567      */
568     if (ibuf->rect != NULL) {
569       imb_freerectImBuf(ibuf);
570     }
571     IMB_colormanagement_transform_threaded(
572         ibuf->rect_float, ibuf->x, ibuf->y, ibuf->channels, from_colorspace, to_colorspace, true);
573   }
574   sequencer_imbuf_assign_spaces(scene, ibuf);
575 }
576
577 void BKE_sequencer_imbuf_from_sequencer_space(Scene *scene, ImBuf *ibuf)
578 {
579   const char *from_colorspace = scene->sequencer_colorspace_settings.name;
580   const char *to_colorspace = IMB_colormanagement_role_colorspace_name_get(
581       COLOR_ROLE_SCENE_LINEAR);
582
583   if (!ibuf->rect_float) {
584     return;
585   }
586
587   if (to_colorspace && to_colorspace[0] != '\0') {
588     IMB_colormanagement_transform_threaded(
589         ibuf->rect_float, ibuf->x, ibuf->y, ibuf->channels, from_colorspace, to_colorspace, true);
590     IMB_colormanagement_assign_float_colorspace(ibuf, to_colorspace);
591   }
592 }
593
594 void BKE_sequencer_pixel_from_sequencer_space_v4(struct Scene *scene, float pixel[4])
595 {
596   const char *from_colorspace = scene->sequencer_colorspace_settings.name;
597   const char *to_colorspace = IMB_colormanagement_role_colorspace_name_get(
598       COLOR_ROLE_SCENE_LINEAR);
599
600   if (to_colorspace && to_colorspace[0] != '\0') {
601     IMB_colormanagement_transform_v4(pixel, from_colorspace, to_colorspace);
602   }
603   else {
604     /* if no color management enables fallback to legacy conversion */
605     srgb_to_linearrgb_v4(pixel, pixel);
606   }
607 }
608
609 /*********************** sequencer pipeline functions *************************/
610
611 void BKE_sequencer_new_render_data(Main *bmain,
612                                    struct Depsgraph *depsgraph,
613                                    Scene *scene,
614                                    int rectx,
615                                    int recty,
616                                    int preview_render_size,
617                                    int for_render,
618                                    SeqRenderData *r_context)
619 {
620   r_context->bmain = bmain;
621   r_context->depsgraph = depsgraph;
622   r_context->scene = scene;
623   r_context->rectx = rectx;
624   r_context->recty = recty;
625   r_context->preview_render_size = preview_render_size;
626   r_context->for_render = for_render;
627   r_context->motion_blur_samples = 0;
628   r_context->motion_blur_shutter = 0;
629   r_context->skip_cache = false;
630   r_context->is_proxy_render = false;
631   r_context->view_id = 0;
632   r_context->gpu_offscreen = NULL;
633   r_context->gpu_samples = (scene->r.mode & R_OSA) ? scene->r.osa : 0;
634   r_context->gpu_full_samples = (r_context->gpu_samples) && (scene->r.scemode & R_FULL_SAMPLE);
635 }
636
637 /* ************************* iterator ************************** */
638 /* *************** (replaces old WHILE_SEQ) ********************* */
639 /* **************** use now SEQ_BEGIN () SEQ_END ***************** */
640
641 /* sequence strip iterator:
642  * - builds a full array, recursively into meta strips
643  */
644
645 static void seq_count(ListBase *seqbase, int *tot)
646 {
647   Sequence *seq;
648
649   for (seq = seqbase->first; seq; seq = seq->next) {
650     (*tot)++;
651
652     if (seq->seqbase.first) {
653       seq_count(&seq->seqbase, tot);
654     }
655   }
656 }
657
658 static void seq_build_array(ListBase *seqbase, Sequence ***array, int depth)
659 {
660   Sequence *seq;
661
662   for (seq = seqbase->first; seq; seq = seq->next) {
663     seq->depth = depth;
664
665     if (seq->seqbase.first) {
666       seq_build_array(&seq->seqbase, array, depth + 1);
667     }
668
669     **array = seq;
670     (*array)++;
671   }
672 }
673
674 static void seq_array(Editing *ed, Sequence ***seqarray, int *tot, bool use_pointer)
675 {
676   Sequence **array;
677
678   *seqarray = NULL;
679   *tot = 0;
680
681   if (ed == NULL) {
682     return;
683   }
684
685   if (use_pointer) {
686     seq_count(ed->seqbasep, tot);
687   }
688   else {
689     seq_count(&ed->seqbase, tot);
690   }
691
692   if (*tot == 0) {
693     return;
694   }
695
696   *seqarray = array = MEM_mallocN(sizeof(Sequence *) * (*tot), "SeqArray");
697   if (use_pointer) {
698     seq_build_array(ed->seqbasep, &array, 0);
699   }
700   else {
701     seq_build_array(&ed->seqbase, &array, 0);
702   }
703 }
704
705 void BKE_sequence_iterator_begin(Editing *ed, SeqIterator *iter, bool use_pointer)
706 {
707   memset(iter, 0, sizeof(*iter));
708   seq_array(ed, &iter->array, &iter->tot, use_pointer);
709
710   if (iter->tot) {
711     iter->cur = 0;
712     iter->seq = iter->array[iter->cur];
713     iter->valid = 1;
714   }
715 }
716
717 void BKE_sequence_iterator_next(SeqIterator *iter)
718 {
719   if (++iter->cur < iter->tot) {
720     iter->seq = iter->array[iter->cur];
721   }
722   else {
723     iter->valid = 0;
724   }
725 }
726
727 void BKE_sequence_iterator_end(SeqIterator *iter)
728 {
729   if (iter->array) {
730     MEM_freeN(iter->array);
731   }
732
733   iter->valid = 0;
734 }
735
736 static int metaseq_start(Sequence *metaseq)
737 {
738   return metaseq->start + metaseq->startofs;
739 }
740
741 static int metaseq_end(Sequence *metaseq)
742 {
743   return metaseq->start + metaseq->len - metaseq->endofs;
744 }
745
746 static void seq_update_sound_bounds_recursive_rec(Scene *scene,
747                                                   Sequence *metaseq,
748                                                   int start,
749                                                   int end)
750 {
751   Sequence *seq;
752
753   /* for sound we go over full meta tree to update bounds of the sound strips,
754    * since sound is played outside of evaluating the imbufs, */
755   for (seq = metaseq->seqbase.first; seq; seq = seq->next) {
756     if (seq->type == SEQ_TYPE_META) {
757       seq_update_sound_bounds_recursive_rec(
758           scene, seq, max_ii(start, metaseq_start(seq)), min_ii(end, metaseq_end(seq)));
759     }
760     else if (ELEM(seq->type, SEQ_TYPE_SOUND_RAM, SEQ_TYPE_SCENE)) {
761       if (seq->scene_sound) {
762         int startofs = seq->startofs;
763         int endofs = seq->endofs;
764         if (seq->startofs + seq->start < start) {
765           startofs = start - seq->start;
766         }
767
768         if (seq->start + seq->len - seq->endofs > end) {
769           endofs = seq->start + seq->len - end;
770         }
771
772         BKE_sound_move_scene_sound(scene,
773                                    seq->scene_sound,
774                                    seq->start + startofs,
775                                    seq->start + seq->len - endofs,
776                                    startofs + seq->anim_startofs);
777       }
778     }
779   }
780 }
781
782 static void seq_update_sound_bounds_recursive(Scene *scene, Sequence *metaseq)
783 {
784   seq_update_sound_bounds_recursive_rec(
785       scene, metaseq, metaseq_start(metaseq), metaseq_end(metaseq));
786 }
787
788 void BKE_sequence_calc_disp(Scene *scene, Sequence *seq)
789 {
790   if (seq->startofs && seq->startstill) {
791     seq->startstill = 0;
792   }
793   if (seq->endofs && seq->endstill) {
794     seq->endstill = 0;
795   }
796
797   seq->startdisp = seq->start + seq->startofs - seq->startstill;
798   seq->enddisp = seq->start + seq->len - seq->endofs + seq->endstill;
799
800   seq->handsize = 10.0; /* 10 frames */
801   if (seq->enddisp - seq->startdisp < 10) {
802     seq->handsize = (float)(0.5 * (seq->enddisp - seq->startdisp));
803   }
804   else if (seq->enddisp - seq->startdisp > 250) {
805     seq->handsize = (float)((seq->enddisp - seq->startdisp) / 25);
806   }
807
808   if (ELEM(seq->type, SEQ_TYPE_SOUND_RAM, SEQ_TYPE_SCENE)) {
809     BKE_sequencer_update_sound_bounds(scene, seq);
810   }
811   else if (seq->type == SEQ_TYPE_META) {
812     seq_update_sound_bounds_recursive(scene, seq);
813   }
814 }
815
816 void BKE_sequence_calc(Scene *scene, Sequence *seq)
817 {
818   Sequence *seqm;
819   int min, max;
820
821   /* check all metas recursively */
822   seqm = seq->seqbase.first;
823   while (seqm) {
824     if (seqm->seqbase.first) {
825       BKE_sequence_calc(scene, seqm);
826     }
827     seqm = seqm->next;
828   }
829
830   /* effects and meta: automatic start and end */
831
832   if (seq->type & SEQ_TYPE_EFFECT) {
833     /* pointers */
834     if (seq->seq2 == NULL) {
835       seq->seq2 = seq->seq1;
836     }
837     if (seq->seq3 == NULL) {
838       seq->seq3 = seq->seq1;
839     }
840
841     /* effecten go from seq1 -> seq2: test */
842
843     /* we take the largest start and smallest end */
844
845     // seq->start = seq->startdisp = MAX2(seq->seq1->startdisp, seq->seq2->startdisp);
846     // seq->enddisp = MIN2(seq->seq1->enddisp, seq->seq2->enddisp);
847
848     if (seq->seq1) {
849       /* XXX These resets should not be necessary, but users used to be able to
850        *     edit effect's length, leading to strange results. See [#29190] */
851       seq->startofs = seq->endofs = seq->startstill = seq->endstill = 0;
852       seq->start = seq->startdisp = max_iii(
853           seq->seq1->startdisp, seq->seq2->startdisp, seq->seq3->startdisp);
854       seq->enddisp = min_iii(seq->seq1->enddisp, seq->seq2->enddisp, seq->seq3->enddisp);
855       /* we cant help if strips don't overlap, it wont give useful results.
856        * but at least ensure 'len' is never negative which causes bad bugs elsewhere. */
857       if (seq->enddisp < seq->startdisp) {
858         /* simple start/end swap */
859         seq->start = seq->enddisp;
860         seq->enddisp = seq->startdisp;
861         seq->startdisp = seq->start;
862         seq->flag |= SEQ_INVALID_EFFECT;
863       }
864       else {
865         seq->flag &= ~SEQ_INVALID_EFFECT;
866       }
867
868       seq->len = seq->enddisp - seq->startdisp;
869     }
870     else {
871       BKE_sequence_calc_disp(scene, seq);
872     }
873   }
874   else {
875     if (seq->type == SEQ_TYPE_META) {
876       seqm = seq->seqbase.first;
877       if (seqm) {
878         min = MAXFRAME * 2;
879         max = -MAXFRAME * 2;
880         while (seqm) {
881           if (seqm->startdisp < min) {
882             min = seqm->startdisp;
883           }
884           if (seqm->enddisp > max) {
885             max = seqm->enddisp;
886           }
887           seqm = seqm->next;
888         }
889         seq->start = min + seq->anim_startofs;
890         seq->len = max - min;
891         seq->len -= seq->anim_startofs;
892         seq->len -= seq->anim_endofs;
893       }
894       seq_update_sound_bounds_recursive(scene, seq);
895     }
896     BKE_sequence_calc_disp(scene, seq);
897   }
898 }
899
900 static void seq_multiview_name(Scene *scene,
901                                const int view_id,
902                                const char *prefix,
903                                const char *ext,
904                                char *r_path,
905                                size_t r_size)
906 {
907   const char *suffix = BKE_scene_multiview_view_id_suffix_get(&scene->r, view_id);
908   BLI_snprintf(r_path, r_size, "%s%s%s", prefix, suffix, ext);
909 }
910
911 /* note: caller should run BKE_sequence_calc(scene, seq) after */
912 void BKE_sequence_reload_new_file(Scene *scene, Sequence *seq, const bool lock_range)
913 {
914   char path[FILE_MAX];
915   int prev_startdisp = 0, prev_enddisp = 0;
916   /* note: don't rename the strip, will break animation curves */
917
918   if (ELEM(seq->type,
919            SEQ_TYPE_MOVIE,
920            SEQ_TYPE_IMAGE,
921            SEQ_TYPE_SOUND_RAM,
922            SEQ_TYPE_SCENE,
923            SEQ_TYPE_META,
924            SEQ_TYPE_MOVIECLIP,
925            SEQ_TYPE_MASK) == 0) {
926     return;
927   }
928
929   if (lock_range) {
930     /* keep so we don't have to move the actual start and end points (only the data) */
931     BKE_sequence_calc_disp(scene, seq);
932     prev_startdisp = seq->startdisp;
933     prev_enddisp = seq->enddisp;
934   }
935
936   switch (seq->type) {
937     case SEQ_TYPE_IMAGE: {
938       /* Hack? */
939       size_t olen = MEM_allocN_len(seq->strip->stripdata) / sizeof(StripElem);
940
941       seq->len = olen;
942       seq->len -= seq->anim_startofs;
943       seq->len -= seq->anim_endofs;
944       if (seq->len < 0) {
945         seq->len = 0;
946       }
947       break;
948     }
949     case SEQ_TYPE_MOVIE: {
950       StripAnim *sanim;
951       bool is_multiview_loaded = false;
952       const bool is_multiview = (seq->flag & SEQ_USE_VIEWS) != 0 &&
953                                 (scene->r.scemode & R_MULTIVIEW) != 0;
954
955       BLI_join_dirfile(path, sizeof(path), seq->strip->dir, seq->strip->stripdata->name);
956       BLI_path_abs(path, BKE_main_blendfile_path_from_global());
957
958       BKE_sequence_free_anim(seq);
959
960       if (is_multiview && (seq->views_format == R_IMF_VIEWS_INDIVIDUAL)) {
961         char prefix[FILE_MAX];
962         const char *ext = NULL;
963         const int totfiles = seq_num_files(scene, seq->views_format, true);
964         int i = 0;
965
966         BKE_scene_multiview_view_prefix_get(scene, path, prefix, &ext);
967
968         if (prefix[0] != '\0') {
969           for (i = 0; i < totfiles; i++) {
970             struct anim *anim;
971             char str[FILE_MAX];
972
973             seq_multiview_name(scene, i, prefix, ext, str, FILE_MAX);
974             anim = openanim(str,
975                             IB_rect | ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
976                             seq->streamindex,
977                             seq->strip->colorspace_settings.name);
978
979             if (anim) {
980               seq_anim_add_suffix(scene, anim, i);
981               sanim = MEM_mallocN(sizeof(StripAnim), "Strip Anim");
982               BLI_addtail(&seq->anims, sanim);
983               sanim->anim = anim;
984             }
985           }
986           is_multiview_loaded = true;
987         }
988       }
989
990       if (is_multiview_loaded == false) {
991         struct anim *anim;
992         anim = openanim(path,
993                         IB_rect | ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
994                         seq->streamindex,
995                         seq->strip->colorspace_settings.name);
996         if (anim) {
997           sanim = MEM_mallocN(sizeof(StripAnim), "Strip Anim");
998           BLI_addtail(&seq->anims, sanim);
999           sanim->anim = anim;
1000         }
1001       }
1002
1003       /* use the first video as reference for everything */
1004       sanim = seq->anims.first;
1005
1006       if ((!sanim) || (!sanim->anim)) {
1007         return;
1008       }
1009
1010       IMB_anim_load_metadata(sanim->anim);
1011
1012       seq->len = IMB_anim_get_duration(
1013           sanim->anim, seq->strip->proxy ? seq->strip->proxy->tc : IMB_TC_RECORD_RUN);
1014
1015       seq->anim_preseek = IMB_anim_get_preseek(sanim->anim);
1016
1017       seq->len -= seq->anim_startofs;
1018       seq->len -= seq->anim_endofs;
1019       if (seq->len < 0) {
1020         seq->len = 0;
1021       }
1022       break;
1023     }
1024     case SEQ_TYPE_MOVIECLIP:
1025       if (seq->clip == NULL) {
1026         return;
1027       }
1028
1029       seq->len = BKE_movieclip_get_duration(seq->clip);
1030
1031       seq->len -= seq->anim_startofs;
1032       seq->len -= seq->anim_endofs;
1033       if (seq->len < 0) {
1034         seq->len = 0;
1035       }
1036       break;
1037     case SEQ_TYPE_MASK:
1038       if (seq->mask == NULL) {
1039         return;
1040       }
1041       seq->len = BKE_mask_get_duration(seq->mask);
1042       seq->len -= seq->anim_startofs;
1043       seq->len -= seq->anim_endofs;
1044       if (seq->len < 0) {
1045         seq->len = 0;
1046       }
1047       break;
1048     case SEQ_TYPE_SOUND_RAM:
1049 #ifdef WITH_AUDASPACE
1050       if (!seq->sound) {
1051         return;
1052       }
1053       seq->len = ceil((double)AUD_getInfo(seq->sound->playback_handle).length * FPS);
1054       seq->len -= seq->anim_startofs;
1055       seq->len -= seq->anim_endofs;
1056       if (seq->len < 0) {
1057         seq->len = 0;
1058       }
1059 #else
1060       return;
1061 #endif
1062       break;
1063     case SEQ_TYPE_SCENE: {
1064       seq->len = (seq->scene) ? seq->scene->r.efra - seq->scene->r.sfra + 1 : 0;
1065       seq->len -= seq->anim_startofs;
1066       seq->len -= seq->anim_endofs;
1067       if (seq->len < 0) {
1068         seq->len = 0;
1069       }
1070       break;
1071     }
1072   }
1073
1074   free_proxy_seq(seq);
1075
1076   if (lock_range) {
1077     BKE_sequence_tx_set_final_left(seq, prev_startdisp);
1078     BKE_sequence_tx_set_final_right(seq, prev_enddisp);
1079     BKE_sequence_single_fix(seq);
1080   }
1081
1082   BKE_sequence_calc(scene, seq);
1083 }
1084
1085 void BKE_sequencer_sort(Scene *scene)
1086 {
1087   /* all strips together per kind, and in order of y location ("machine") */
1088   ListBase seqbase, effbase;
1089   Editing *ed = BKE_sequencer_editing_get(scene, false);
1090   Sequence *seq, *seqt;
1091
1092   if (ed == NULL) {
1093     return;
1094   }
1095
1096   BLI_listbase_clear(&seqbase);
1097   BLI_listbase_clear(&effbase);
1098
1099   while ((seq = BLI_pophead(ed->seqbasep))) {
1100
1101     if (seq->type & SEQ_TYPE_EFFECT) {
1102       seqt = effbase.first;
1103       while (seqt) {
1104         if (seqt->machine >= seq->machine) {
1105           BLI_insertlinkbefore(&effbase, seqt, seq);
1106           break;
1107         }
1108         seqt = seqt->next;
1109       }
1110       if (seqt == NULL) {
1111         BLI_addtail(&effbase, seq);
1112       }
1113     }
1114     else {
1115       seqt = seqbase.first;
1116       while (seqt) {
1117         if (seqt->machine >= seq->machine) {
1118           BLI_insertlinkbefore(&seqbase, seqt, seq);
1119           break;
1120         }
1121         seqt = seqt->next;
1122       }
1123       if (seqt == NULL) {
1124         BLI_addtail(&seqbase, seq);
1125       }
1126     }
1127   }
1128
1129   BLI_movelisttolist(&seqbase, &effbase);
1130   *(ed->seqbasep) = seqbase;
1131 }
1132
1133 /** Comparison function suitable to be used with BLI_listbase_sort()... */
1134 int BKE_sequencer_cmp_time_startdisp(const void *a, const void *b)
1135 {
1136   const Sequence *seq_a = a;
1137   const Sequence *seq_b = b;
1138
1139   return (seq_a->startdisp > seq_b->startdisp);
1140 }
1141
1142 static int clear_scene_in_allseqs_cb(Sequence *seq, void *arg_pt)
1143 {
1144   if (seq->scene == (Scene *)arg_pt) {
1145     seq->scene = NULL;
1146   }
1147   return 1;
1148 }
1149
1150 void BKE_sequencer_clear_scene_in_allseqs(Main *bmain, Scene *scene)
1151 {
1152   Scene *scene_iter;
1153
1154   /* when a scene is deleted: test all seqs */
1155   for (scene_iter = bmain->scenes.first; scene_iter; scene_iter = scene_iter->id.next) {
1156     if (scene_iter != scene && scene_iter->ed) {
1157       BKE_sequencer_base_recursive_apply(
1158           &scene_iter->ed->seqbase, clear_scene_in_allseqs_cb, scene);
1159     }
1160   }
1161 }
1162
1163 typedef struct SeqUniqueInfo {
1164   Sequence *seq;
1165   char name_src[SEQ_NAME_MAXSTR];
1166   char name_dest[SEQ_NAME_MAXSTR];
1167   int count;
1168   int match;
1169 } SeqUniqueInfo;
1170
1171 static void seqbase_unique_name(ListBase *seqbasep, SeqUniqueInfo *sui)
1172 {
1173   Sequence *seq;
1174   for (seq = seqbasep->first; seq; seq = seq->next) {
1175     if ((sui->seq != seq) && STREQ(sui->name_dest, seq->name + 2)) {
1176       /* SEQ_NAME_MAXSTR -4 for the number, -1 for \0, - 2 for prefix */
1177       BLI_snprintf(sui->name_dest,
1178                    sizeof(sui->name_dest),
1179                    "%.*s.%03d",
1180                    SEQ_NAME_MAXSTR - 4 - 1 - 2,
1181                    sui->name_src,
1182                    sui->count++);
1183       sui->match = 1; /* be sure to re-scan */
1184     }
1185   }
1186 }
1187
1188 static int seqbase_unique_name_recursive_cb(Sequence *seq, void *arg_pt)
1189 {
1190   if (seq->seqbase.first) {
1191     seqbase_unique_name(&seq->seqbase, (SeqUniqueInfo *)arg_pt);
1192   }
1193   return 1;
1194 }
1195
1196 void BKE_sequence_base_unique_name_recursive(ListBase *seqbasep, Sequence *seq)
1197 {
1198   SeqUniqueInfo sui;
1199   char *dot;
1200   sui.seq = seq;
1201   BLI_strncpy(sui.name_src, seq->name + 2, sizeof(sui.name_src));
1202   BLI_strncpy(sui.name_dest, seq->name + 2, sizeof(sui.name_dest));
1203
1204   sui.count = 1;
1205   sui.match = 1; /* assume the worst to start the loop */
1206
1207   /* Strip off the suffix */
1208   if ((dot = strrchr(sui.name_src, '.'))) {
1209     *dot = '\0';
1210     dot++;
1211
1212     if (*dot) {
1213       sui.count = atoi(dot) + 1;
1214     }
1215   }
1216
1217   while (sui.match) {
1218     sui.match = 0;
1219     seqbase_unique_name(seqbasep, &sui);
1220     BKE_sequencer_base_recursive_apply(seqbasep, seqbase_unique_name_recursive_cb, &sui);
1221   }
1222
1223   BLI_strncpy(seq->name + 2, sui.name_dest, sizeof(seq->name) - 2);
1224 }
1225
1226 static const char *give_seqname_by_type(int type)
1227 {
1228   switch (type) {
1229     case SEQ_TYPE_META:
1230       return "Meta";
1231     case SEQ_TYPE_IMAGE:
1232       return "Image";
1233     case SEQ_TYPE_SCENE:
1234       return "Scene";
1235     case SEQ_TYPE_MOVIE:
1236       return "Movie";
1237     case SEQ_TYPE_MOVIECLIP:
1238       return "Clip";
1239     case SEQ_TYPE_MASK:
1240       return "Mask";
1241     case SEQ_TYPE_SOUND_RAM:
1242       return "Audio";
1243     case SEQ_TYPE_CROSS:
1244       return "Cross";
1245     case SEQ_TYPE_GAMCROSS:
1246       return "Gamma Cross";
1247     case SEQ_TYPE_ADD:
1248       return "Add";
1249     case SEQ_TYPE_SUB:
1250       return "Sub";
1251     case SEQ_TYPE_MUL:
1252       return "Mul";
1253     case SEQ_TYPE_ALPHAOVER:
1254       return "Alpha Over";
1255     case SEQ_TYPE_ALPHAUNDER:
1256       return "Alpha Under";
1257     case SEQ_TYPE_OVERDROP:
1258       return "Over Drop";
1259     case SEQ_TYPE_COLORMIX:
1260       return "Color Mix";
1261     case SEQ_TYPE_WIPE:
1262       return "Wipe";
1263     case SEQ_TYPE_GLOW:
1264       return "Glow";
1265     case SEQ_TYPE_TRANSFORM:
1266       return "Transform";
1267     case SEQ_TYPE_COLOR:
1268       return "Color";
1269     case SEQ_TYPE_MULTICAM:
1270       return "Multicam";
1271     case SEQ_TYPE_ADJUSTMENT:
1272       return "Adjustment";
1273     case SEQ_TYPE_SPEED:
1274       return "Speed";
1275     case SEQ_TYPE_GAUSSIAN_BLUR:
1276       return "Gaussian Blur";
1277     case SEQ_TYPE_TEXT:
1278       return "Text";
1279     default:
1280       return NULL;
1281   }
1282 }
1283
1284 const char *BKE_sequence_give_name(Sequence *seq)
1285 {
1286   const char *name = give_seqname_by_type(seq->type);
1287
1288   if (!name) {
1289     if (!(seq->type & SEQ_TYPE_EFFECT)) {
1290       return seq->strip->dir;
1291     }
1292     else {
1293       return "Effect";
1294     }
1295   }
1296   return name;
1297 }
1298
1299 ListBase *BKE_sequence_seqbase_get(Sequence *seq, int *r_offset)
1300 {
1301   ListBase *seqbase = NULL;
1302
1303   switch (seq->type) {
1304     case SEQ_TYPE_META: {
1305       seqbase = &seq->seqbase;
1306       *r_offset = seq->start;
1307       break;
1308     }
1309     case SEQ_TYPE_SCENE: {
1310       if (seq->flag & SEQ_SCENE_STRIPS) {
1311         Editing *ed = BKE_sequencer_editing_get(seq->scene, false);
1312         if (ed) {
1313           seqbase = &ed->seqbase;
1314           *r_offset = seq->scene->r.sfra;
1315         }
1316       }
1317       break;
1318     }
1319   }
1320
1321   return seqbase;
1322 }
1323
1324 /*********************** DO THE SEQUENCE *************************/
1325
1326 static void make_black_ibuf(ImBuf *ibuf)
1327 {
1328   unsigned int *rect;
1329   float *rect_float;
1330   int tot;
1331
1332   if (ibuf == NULL || (ibuf->rect == NULL && ibuf->rect_float == NULL)) {
1333     return;
1334   }
1335
1336   tot = ibuf->x * ibuf->y;
1337
1338   rect = ibuf->rect;
1339   rect_float = ibuf->rect_float;
1340
1341   if (rect) {
1342     memset(rect, 0, tot * sizeof(char) * 4);
1343   }
1344
1345   if (rect_float) {
1346     memset(rect_float, 0, tot * sizeof(float) * 4);
1347   }
1348 }
1349
1350 static void multibuf(ImBuf *ibuf, const float fmul)
1351 {
1352   char *rt;
1353   float *rt_float;
1354
1355   int a;
1356
1357   rt = (char *)ibuf->rect;
1358   rt_float = ibuf->rect_float;
1359
1360   if (rt) {
1361     const int imul = (int)(256.0f * fmul);
1362     a = ibuf->x * ibuf->y;
1363     while (a--) {
1364       rt[0] = min_ii((imul * rt[0]) >> 8, 255);
1365       rt[1] = min_ii((imul * rt[1]) >> 8, 255);
1366       rt[2] = min_ii((imul * rt[2]) >> 8, 255);
1367       rt[3] = min_ii((imul * rt[3]) >> 8, 255);
1368
1369       rt += 4;
1370     }
1371   }
1372   if (rt_float) {
1373     a = ibuf->x * ibuf->y;
1374     while (a--) {
1375       rt_float[0] *= fmul;
1376       rt_float[1] *= fmul;
1377       rt_float[2] *= fmul;
1378       rt_float[3] *= fmul;
1379
1380       rt_float += 4;
1381     }
1382   }
1383 }
1384
1385 static float give_stripelem_index(Sequence *seq, float cfra)
1386 {
1387   float nr;
1388   int sta = seq->start;
1389   int end = seq->start + seq->len - 1;
1390
1391   if (seq->type & SEQ_TYPE_EFFECT) {
1392     end = seq->enddisp;
1393   }
1394
1395   if (end < sta) {
1396     return -1;
1397   }
1398
1399   if (seq->flag & SEQ_REVERSE_FRAMES) {
1400     /*reverse frame in this sequence */
1401     if (cfra <= sta) {
1402       nr = end - sta;
1403     }
1404     else if (cfra >= end) {
1405       nr = 0;
1406     }
1407     else {
1408       nr = end - cfra;
1409     }
1410   }
1411   else {
1412     if (cfra <= sta) {
1413       nr = 0;
1414     }
1415     else if (cfra >= end) {
1416       nr = end - sta;
1417     }
1418     else {
1419       nr = cfra - sta;
1420     }
1421   }
1422
1423   if (seq->strobe < 1.0f) {
1424     seq->strobe = 1.0f;
1425   }
1426
1427   if (seq->strobe > 1.0f) {
1428     nr -= fmodf((double)nr, (double)seq->strobe);
1429   }
1430
1431   return nr;
1432 }
1433
1434 StripElem *BKE_sequencer_give_stripelem(Sequence *seq, int cfra)
1435 {
1436   StripElem *se = seq->strip->stripdata;
1437
1438   if (seq->type == SEQ_TYPE_IMAGE) {
1439     /* only IMAGE strips use the whole array, MOVIE strips use only the first element,
1440      * all other strips don't use this...
1441      */
1442
1443     int nr = (int)give_stripelem_index(seq, cfra);
1444
1445     if (nr == -1 || se == NULL) {
1446       return NULL;
1447     }
1448
1449     se += nr + seq->anim_startofs;
1450   }
1451   return se;
1452 }
1453
1454 static int evaluate_seq_frame_gen(Sequence **seq_arr, ListBase *seqbase, int cfra, int chanshown)
1455 {
1456   /* Use arbitrary sized linked list, the size could be over MAXSEQ. */
1457   LinkNodePair effect_inputs = {NULL, NULL};
1458   int totseq = 0;
1459
1460   memset(seq_arr, 0, sizeof(Sequence *) * (MAXSEQ + 1));
1461
1462   for (Sequence *seq = seqbase->first; seq; seq = seq->next) {
1463     if ((seq->startdisp <= cfra) && (seq->enddisp > cfra)) {
1464       if ((seq->type & SEQ_TYPE_EFFECT) && !(seq->flag & SEQ_MUTE)) {
1465
1466         if (seq->seq1) {
1467           BLI_linklist_append_alloca(&effect_inputs, seq->seq1);
1468         }
1469
1470         if (seq->seq2) {
1471           BLI_linklist_append_alloca(&effect_inputs, seq->seq2);
1472         }
1473
1474         if (seq->seq3) {
1475           BLI_linklist_append_alloca(&effect_inputs, seq->seq3);
1476         }
1477       }
1478
1479       seq_arr[seq->machine] = seq;
1480       totseq++;
1481     }
1482   }
1483
1484   /* Drop strips which are used for effect inputs, we don't want
1485    * them to blend into render stack in any other way than effect
1486    * string rendering.
1487    */
1488   for (LinkNode *seq_item = effect_inputs.list; seq_item; seq_item = seq_item->next) {
1489     Sequence *seq = seq_item->link;
1490     /* It's possible that effetc strip would be placed to the same
1491      * 'machine' as it's inputs. We don't want to clear such strips
1492      * from the stack.
1493      */
1494     if (seq_arr[seq->machine] && seq_arr[seq->machine]->type & SEQ_TYPE_EFFECT) {
1495       continue;
1496     }
1497     /* If we're shown a specified channel, then we want to see the stirps
1498      * which belongs to this machine.
1499      */
1500     if (chanshown != 0 && chanshown <= seq->machine) {
1501       continue;
1502     }
1503     seq_arr[seq->machine] = NULL;
1504   }
1505
1506   return totseq;
1507 }
1508
1509 int BKE_sequencer_evaluate_frame(Scene *scene, int cfra)
1510 {
1511   Editing *ed = BKE_sequencer_editing_get(scene, false);
1512   Sequence *seq_arr[MAXSEQ + 1];
1513
1514   if (ed == NULL) {
1515     return 0;
1516   }
1517
1518   return evaluate_seq_frame_gen(seq_arr, ed->seqbasep, cfra, 0);
1519 }
1520
1521 static bool video_seq_is_rendered(Sequence *seq)
1522 {
1523   return (seq && !(seq->flag & SEQ_MUTE) && seq->type != SEQ_TYPE_SOUND_RAM);
1524 }
1525
1526 static int get_shown_sequences(ListBase *seqbasep, int cfra, int chanshown, Sequence **seq_arr_out)
1527 {
1528   Sequence *seq_arr[MAXSEQ + 1];
1529   int b = chanshown;
1530   int cnt = 0;
1531
1532   if (b > MAXSEQ) {
1533     return 0;
1534   }
1535
1536   if (evaluate_seq_frame_gen(seq_arr, seqbasep, cfra, chanshown)) {
1537     if (b == 0) {
1538       b = MAXSEQ;
1539     }
1540     for (; b > 0; b--) {
1541       if (video_seq_is_rendered(seq_arr[b])) {
1542         break;
1543       }
1544     }
1545   }
1546
1547   chanshown = b;
1548
1549   for (; b > 0; b--) {
1550     if (video_seq_is_rendered(seq_arr[b])) {
1551       if (seq_arr[b]->blend_mode == SEQ_BLEND_REPLACE) {
1552         break;
1553       }
1554     }
1555   }
1556
1557   for (; b <= chanshown && b >= 0; b++) {
1558     if (video_seq_is_rendered(seq_arr[b])) {
1559       seq_arr_out[cnt++] = seq_arr[b];
1560     }
1561   }
1562
1563   return cnt;
1564 }
1565
1566 /*********************** proxy management *************************/
1567
1568 typedef struct SeqIndexBuildContext {
1569   struct IndexBuildContext *index_context;
1570
1571   int tc_flags;
1572   int size_flags;
1573   int quality;
1574   bool overwrite;
1575   int view_id;
1576
1577   Main *bmain;
1578   Depsgraph *depsgraph;
1579   Scene *scene;
1580   Sequence *seq, *orig_seq;
1581 } SeqIndexBuildContext;
1582
1583 #define PROXY_MAXFILE (2 * FILE_MAXDIR + FILE_MAXFILE)
1584
1585 static IMB_Proxy_Size seq_rendersize_to_proxysize(int size)
1586 {
1587   if (size >= 100) {
1588     return IMB_PROXY_NONE;
1589   }
1590   if (size >= 99) {
1591     return IMB_PROXY_100;
1592   }
1593   if (size >= 75) {
1594     return IMB_PROXY_75;
1595   }
1596   if (size >= 50) {
1597     return IMB_PROXY_50;
1598   }
1599   return IMB_PROXY_25;
1600 }
1601
1602 static double seq_rendersize_to_scale_factor(int size)
1603 {
1604   if (size >= 99) {
1605     return 1.0;
1606   }
1607   if (size >= 75) {
1608     return 0.75;
1609   }
1610   if (size >= 50) {
1611     return 0.50;
1612   }
1613   return 0.25;
1614 }
1615
1616 /* the number of files will vary according to the stereo format */
1617 static int seq_num_files(Scene *scene, char views_format, const bool is_multiview)
1618 {
1619   if (!is_multiview) {
1620     return 1;
1621   }
1622   else if (views_format == R_IMF_VIEWS_STEREO_3D) {
1623     return 1;
1624   }
1625   /* R_IMF_VIEWS_INDIVIDUAL */
1626   else {
1627     return BKE_scene_multiview_num_views_get(&scene->r);
1628   }
1629 }
1630
1631 static void seq_proxy_index_dir_set(struct anim *anim, const char *base_dir)
1632 {
1633   char dir[FILE_MAX];
1634   char fname[FILE_MAXFILE];
1635
1636   IMB_anim_get_fname(anim, fname, FILE_MAXFILE);
1637   BLI_strncpy(dir, base_dir, sizeof(dir));
1638   BLI_path_append(dir, sizeof(dir), fname);
1639   IMB_anim_set_index_dir(anim, dir);
1640 }
1641
1642 static void seq_open_anim_file(Scene *scene, Sequence *seq, bool openfile)
1643 {
1644   char dir[FILE_MAX];
1645   char name[FILE_MAX];
1646   StripProxy *proxy;
1647   bool use_proxy;
1648   bool is_multiview_loaded = false;
1649   Editing *ed = scene->ed;
1650   const bool is_multiview = (seq->flag & SEQ_USE_VIEWS) != 0 &&
1651                             (scene->r.scemode & R_MULTIVIEW) != 0;
1652
1653   if ((seq->anims.first != NULL) && (((StripAnim *)seq->anims.first)->anim != NULL)) {
1654     return;
1655   }
1656
1657   /* reset all the previously created anims */
1658   BKE_sequence_free_anim(seq);
1659
1660   BLI_join_dirfile(name, sizeof(name), seq->strip->dir, seq->strip->stripdata->name);
1661   BLI_path_abs(name, BKE_main_blendfile_path_from_global());
1662
1663   proxy = seq->strip->proxy;
1664
1665   use_proxy = proxy && ((proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_DIR) != 0 ||
1666                         (ed->proxy_storage == SEQ_EDIT_PROXY_DIR_STORAGE));
1667
1668   if (use_proxy) {
1669     if (ed->proxy_storage == SEQ_EDIT_PROXY_DIR_STORAGE) {
1670       if (ed->proxy_dir[0] == 0) {
1671         BLI_strncpy(dir, "//BL_proxy", sizeof(dir));
1672       }
1673       else {
1674         BLI_strncpy(dir, ed->proxy_dir, sizeof(dir));
1675       }
1676     }
1677     else {
1678       BLI_strncpy(dir, seq->strip->proxy->dir, sizeof(dir));
1679     }
1680     BLI_path_abs(dir, BKE_main_blendfile_path_from_global());
1681   }
1682
1683   if (is_multiview && seq->views_format == R_IMF_VIEWS_INDIVIDUAL) {
1684     int totfiles = seq_num_files(scene, seq->views_format, true);
1685     char prefix[FILE_MAX];
1686     const char *ext = NULL;
1687     int i;
1688
1689     BKE_scene_multiview_view_prefix_get(scene, name, prefix, &ext);
1690
1691     if (prefix[0] != '\0') {
1692       for (i = 0; i < totfiles; i++) {
1693         const char *suffix = BKE_scene_multiview_view_id_suffix_get(&scene->r, i);
1694         char str[FILE_MAX];
1695         StripAnim *sanim = MEM_mallocN(sizeof(StripAnim), "Strip Anim");
1696
1697         BLI_addtail(&seq->anims, sanim);
1698
1699         BLI_snprintf(str, sizeof(str), "%s%s%s", prefix, suffix, ext);
1700
1701         if (openfile) {
1702           sanim->anim = openanim(str,
1703                                  IB_rect | ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
1704                                  seq->streamindex,
1705                                  seq->strip->colorspace_settings.name);
1706         }
1707         else {
1708           sanim->anim = openanim_noload(str,
1709                                         IB_rect |
1710                                             ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
1711                                         seq->streamindex,
1712                                         seq->strip->colorspace_settings.name);
1713         }
1714
1715         if (sanim->anim) {
1716           /* we already have the suffix */
1717           IMB_suffix_anim(sanim->anim, suffix);
1718         }
1719         else {
1720           if (openfile) {
1721             sanim->anim = openanim(name,
1722                                    IB_rect | ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
1723                                    seq->streamindex,
1724                                    seq->strip->colorspace_settings.name);
1725           }
1726           else {
1727             sanim->anim = openanim_noload(name,
1728                                           IB_rect |
1729                                               ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
1730                                           seq->streamindex,
1731                                           seq->strip->colorspace_settings.name);
1732           }
1733
1734           /* no individual view files - monoscopic, stereo 3d or exr multiview */
1735           totfiles = 1;
1736         }
1737
1738         if (sanim->anim && use_proxy) {
1739           seq_proxy_index_dir_set(sanim->anim, dir);
1740         }
1741       }
1742       is_multiview_loaded = true;
1743     }
1744   }
1745
1746   if (is_multiview_loaded == false) {
1747     StripAnim *sanim;
1748
1749     sanim = MEM_mallocN(sizeof(StripAnim), "Strip Anim");
1750     BLI_addtail(&seq->anims, sanim);
1751
1752     if (openfile) {
1753       sanim->anim = openanim(name,
1754                              IB_rect | ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
1755                              seq->streamindex,
1756                              seq->strip->colorspace_settings.name);
1757     }
1758     else {
1759       sanim->anim = openanim_noload(name,
1760                                     IB_rect | ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
1761                                     seq->streamindex,
1762                                     seq->strip->colorspace_settings.name);
1763     }
1764
1765     if (sanim->anim && use_proxy) {
1766       seq_proxy_index_dir_set(sanim->anim, dir);
1767     }
1768   }
1769 }
1770
1771 static bool seq_proxy_get_fname(
1772     Editing *ed, Sequence *seq, int cfra, int render_size, char *name, const int view_id)
1773 {
1774   int frameno;
1775   char dir[PROXY_MAXFILE];
1776   StripAnim *sanim;
1777   char suffix[24] = {'\0'};
1778
1779   StripProxy *proxy = seq->strip->proxy;
1780   if (!proxy) {
1781     return false;
1782   }
1783
1784   /* MOVIE tracks (only exception: custom files) are now handled
1785    * internally by ImBuf module for various reasons: proper time code
1786    * support, quicker index build, using one file instead
1787    * of a full directory of jpeg files, etc. Trying to support old
1788    * and new method at once could lead to funny effects, if people
1789    * have both, a directory full of jpeg files and proxy avis, so
1790    * sorry folks, please rebuild your proxies... */
1791
1792   sanim = BLI_findlink(&seq->anims, view_id);
1793
1794   if (ed->proxy_storage == SEQ_EDIT_PROXY_DIR_STORAGE) {
1795     char fname[FILE_MAXFILE];
1796     if (ed->proxy_dir[0] == 0) {
1797       BLI_strncpy(dir, "//BL_proxy", sizeof(dir));
1798     }
1799     else {
1800       BLI_strncpy(dir, ed->proxy_dir, sizeof(dir));
1801     }
1802
1803     if (sanim && sanim->anim) {
1804       IMB_anim_get_fname(sanim->anim, fname, FILE_MAXFILE);
1805     }
1806     else if (seq->type == SEQ_TYPE_IMAGE) {
1807       fname[0] = 0;
1808     }
1809     else {
1810       /* We could make a name here, except non-movie's don't generate proxies,
1811        * cancel until other types of sequence strips are supported. */
1812       return false;
1813     }
1814     BLI_path_append(dir, sizeof(dir), fname);
1815     BLI_path_abs(name, BKE_main_blendfile_path_from_global());
1816   }
1817   else if ((proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_DIR) &&
1818            (proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_FILE)) {
1819     BLI_strncpy(dir, seq->strip->proxy->dir, sizeof(dir));
1820   }
1821   else if (proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_FILE) {
1822     BLI_strncpy(dir, seq->strip->proxy->dir, sizeof(dir));
1823   }
1824   else if (sanim && sanim->anim && (proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_DIR)) {
1825     char fname[FILE_MAXFILE];
1826     BLI_strncpy(dir, seq->strip->proxy->dir, sizeof(dir));
1827     IMB_anim_get_fname(sanim->anim, fname, FILE_MAXFILE);
1828     BLI_path_append(dir, sizeof(dir), fname);
1829   }
1830   else if (seq->type == SEQ_TYPE_IMAGE) {
1831     if (proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_DIR) {
1832       BLI_strncpy(dir, seq->strip->proxy->dir, sizeof(dir));
1833     }
1834     else {
1835       BLI_snprintf(dir, PROXY_MAXFILE, "%s/BL_proxy", seq->strip->dir);
1836     }
1837   }
1838   else {
1839     return false;
1840   }
1841
1842   if (view_id > 0) {
1843     BLI_snprintf(suffix, sizeof(suffix), "_%d", view_id);
1844   }
1845
1846   if (proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_FILE &&
1847       ed->proxy_storage != SEQ_EDIT_PROXY_DIR_STORAGE) {
1848     char fname[FILE_MAXFILE];
1849     BLI_join_dirfile(fname, PROXY_MAXFILE, dir, proxy->file);
1850     BLI_path_abs(fname, BKE_main_blendfile_path_from_global());
1851     if (suffix[0] != '\0') {
1852       /* TODO(sergey): This will actually append suffix after extension
1853        * which is weird but how was originally coded in multiview branch.
1854        */
1855       BLI_snprintf(name, PROXY_MAXFILE, "%s_%s", fname, suffix);
1856     }
1857     else {
1858       BLI_strncpy(name, fname, PROXY_MAXFILE);
1859     }
1860
1861     return true;
1862   }
1863
1864   /* generate a separate proxy directory for each preview size */
1865
1866   if (seq->type == SEQ_TYPE_IMAGE) {
1867     BLI_snprintf(name,
1868                  PROXY_MAXFILE,
1869                  "%s/images/%d/%s_proxy%s",
1870                  dir,
1871                  render_size,
1872                  BKE_sequencer_give_stripelem(seq, cfra)->name,
1873                  suffix);
1874     frameno = 1;
1875   }
1876   else {
1877     frameno = (int)give_stripelem_index(seq, cfra) + seq->anim_startofs;
1878     BLI_snprintf(name, PROXY_MAXFILE, "%s/proxy_misc/%d/####%s", dir, render_size, suffix);
1879   }
1880
1881   BLI_path_abs(name, BKE_main_blendfile_path_from_global());
1882   BLI_path_frame(name, frameno, 0);
1883
1884   strcat(name, ".jpg");
1885
1886   return true;
1887 }
1888
1889 static ImBuf *seq_proxy_fetch(const SeqRenderData *context, Sequence *seq, int cfra)
1890 {
1891   char name[PROXY_MAXFILE];
1892   IMB_Proxy_Size psize = seq_rendersize_to_proxysize(context->preview_render_size);
1893   int size_flags;
1894   int render_size = context->preview_render_size;
1895   StripProxy *proxy = seq->strip->proxy;
1896   Editing *ed = context->scene->ed;
1897   StripAnim *sanim;
1898
1899   if (!(seq->flag & SEQ_USE_PROXY)) {
1900     return NULL;
1901   }
1902
1903   /* dirty hack to distinguish 100% render size from PROXY_100 */
1904   if (render_size == 99) {
1905     render_size = 100;
1906   }
1907
1908   size_flags = proxy->build_size_flags;
1909
1910   /* only use proxies, if they are enabled (even if present!) */
1911   if (psize == IMB_PROXY_NONE || ((size_flags & psize) != psize)) {
1912     return NULL;
1913   }
1914
1915   if (proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_FILE) {
1916     int frameno = (int)give_stripelem_index(seq, cfra) + seq->anim_startofs;
1917     if (proxy->anim == NULL) {
1918       if (seq_proxy_get_fname(ed, seq, cfra, render_size, name, context->view_id) == 0) {
1919         return NULL;
1920       }
1921
1922       proxy->anim = openanim(name, IB_rect, 0, seq->strip->colorspace_settings.name);
1923     }
1924     if (proxy->anim == NULL) {
1925       return NULL;
1926     }
1927
1928     seq_open_anim_file(context->scene, seq, true);
1929     sanim = seq->anims.first;
1930
1931     frameno = IMB_anim_index_get_frame_index(
1932         sanim ? sanim->anim : NULL, seq->strip->proxy->tc, frameno);
1933
1934     return IMB_anim_absolute(proxy->anim, frameno, IMB_TC_NONE, IMB_PROXY_NONE);
1935   }
1936
1937   if (seq_proxy_get_fname(ed, seq, cfra, render_size, name, context->view_id) == 0) {
1938     return NULL;
1939   }
1940
1941   if (BLI_exists(name)) {
1942     ImBuf *ibuf = IMB_loadiffname(name, IB_rect, NULL);
1943
1944     if (ibuf) {
1945       sequencer_imbuf_assign_spaces(context->scene, ibuf);
1946     }
1947
1948     return ibuf;
1949   }
1950   else {
1951     return NULL;
1952   }
1953 }
1954
1955 static void seq_proxy_build_frame(const SeqRenderData *context,
1956                                   SeqRenderState *state,
1957                                   Sequence *seq,
1958                                   int cfra,
1959                                   int proxy_render_size,
1960                                   const bool overwrite)
1961 {
1962   char name[PROXY_MAXFILE];
1963   int quality;
1964   int rectx, recty;
1965   int ok;
1966   ImBuf *ibuf_tmp, *ibuf;
1967   Editing *ed = context->scene->ed;
1968
1969   if (!seq_proxy_get_fname(ed, seq, cfra, proxy_render_size, name, context->view_id)) {
1970     return;
1971   }
1972
1973   if (!overwrite && BLI_exists(name)) {
1974     return;
1975   }
1976
1977   ibuf_tmp = seq_render_strip(context, state, seq, cfra);
1978
1979   rectx = (proxy_render_size * ibuf_tmp->x) / 100;
1980   recty = (proxy_render_size * ibuf_tmp->y) / 100;
1981
1982   if (ibuf_tmp->x != rectx || ibuf_tmp->y != recty) {
1983     ibuf = IMB_dupImBuf(ibuf_tmp);
1984     IMB_metadata_copy(ibuf, ibuf_tmp);
1985     IMB_freeImBuf(ibuf_tmp);
1986     IMB_scalefastImBuf(ibuf, (short)rectx, (short)recty);
1987   }
1988   else {
1989     ibuf = ibuf_tmp;
1990   }
1991
1992   /* depth = 32 is intentionally left in, otherwise ALPHA channels
1993    * won't work... */
1994   quality = seq->strip->proxy->quality;
1995   ibuf->ftype = IMB_FTYPE_JPG;
1996   ibuf->foptions.quality = quality;
1997
1998   /* unsupported feature only confuses other s/w */
1999   if (ibuf->planes == 32) {
2000     ibuf->planes = 24;
2001   }
2002
2003   BLI_make_existing_file(name);
2004
2005   ok = IMB_saveiff(ibuf, name, IB_rect | IB_zbuf | IB_zbuffloat);
2006   if (ok == 0) {
2007     perror(name);
2008   }
2009
2010   IMB_freeImBuf(ibuf);
2011 }
2012
2013 /**
2014  * Returns whether the file this context would read from even exist,
2015  * if not, don't create the context
2016  */
2017 static bool seq_proxy_multiview_context_invalid(Sequence *seq, Scene *scene, const int view_id)
2018 {
2019   if ((scene->r.scemode & R_MULTIVIEW) == 0) {
2020     return false;
2021   }
2022
2023   if ((seq->type == SEQ_TYPE_IMAGE) && (seq->views_format == R_IMF_VIEWS_INDIVIDUAL)) {
2024     static char prefix[FILE_MAX];
2025     static const char *ext = NULL;
2026     char str[FILE_MAX];
2027
2028     if (view_id == 0) {
2029       char path[FILE_MAX];
2030       BLI_join_dirfile(path, sizeof(path), seq->strip->dir, seq->strip->stripdata->name);
2031       BLI_path_abs(path, BKE_main_blendfile_path_from_global());
2032       BKE_scene_multiview_view_prefix_get(scene, path, prefix, &ext);
2033     }
2034     else {
2035       prefix[0] = '\0';
2036     }
2037
2038     if (prefix[0] == '\0') {
2039       return view_id != 0;
2040     }
2041
2042     seq_multiview_name(scene, view_id, prefix, ext, str, FILE_MAX);
2043
2044     if (BLI_access(str, R_OK) == 0) {
2045       return false;
2046     }
2047     else {
2048       return view_id != 0;
2049     }
2050   }
2051   return false;
2052 }
2053
2054 /**
2055  * This returns the maximum possible number of required contexts
2056  */
2057 static int seq_proxy_context_count(Sequence *seq, Scene *scene)
2058 {
2059   int num_views = 1;
2060
2061   if ((scene->r.scemode & R_MULTIVIEW) == 0) {
2062     return 1;
2063   }
2064
2065   switch (seq->type) {
2066     case SEQ_TYPE_MOVIE: {
2067       num_views = BLI_listbase_count(&seq->anims);
2068       break;
2069     }
2070     case SEQ_TYPE_IMAGE: {
2071       switch (seq->views_format) {
2072         case R_IMF_VIEWS_INDIVIDUAL:
2073           num_views = BKE_scene_multiview_num_views_get(&scene->r);
2074           break;
2075         case R_IMF_VIEWS_STEREO_3D:
2076           num_views = 2;
2077           break;
2078         case R_IMF_VIEWS_MULTIVIEW:
2079           /* not supported at the moment */
2080           /* pass through */
2081         default:
2082           num_views = 1;
2083       }
2084       break;
2085     }
2086   }
2087
2088   return num_views;
2089 }
2090
2091 void BKE_sequencer_proxy_rebuild_context(Main *bmain,
2092                                          Depsgraph *depsgraph,
2093                                          Scene *scene,
2094                                          Sequence *seq,
2095                                          struct GSet *file_list,
2096                                          ListBase *queue)
2097 {
2098   SeqIndexBuildContext *context;
2099   Sequence *nseq;
2100   LinkData *link;
2101   int num_files;
2102   int i;
2103
2104   if (!seq->strip || !seq->strip->proxy) {
2105     return;
2106   }
2107
2108   if (!(seq->flag & SEQ_USE_PROXY)) {
2109     return;
2110   }
2111
2112   num_files = seq_proxy_context_count(seq, scene);
2113
2114   for (i = 0; i < num_files; i++) {
2115     if (seq_proxy_multiview_context_invalid(seq, scene, i)) {
2116       continue;
2117     }
2118
2119     context = MEM_callocN(sizeof(SeqIndexBuildContext), "seq proxy rebuild context");
2120
2121     nseq = BKE_sequence_dupli_recursive(scene, scene, NULL, seq, 0);
2122
2123     context->tc_flags = nseq->strip->proxy->build_tc_flags;
2124     context->size_flags = nseq->strip->proxy->build_size_flags;
2125     context->quality = nseq->strip->proxy->quality;
2126     context->overwrite = (nseq->strip->proxy->build_flags & SEQ_PROXY_SKIP_EXISTING) == 0;
2127
2128     context->bmain = bmain;
2129     context->depsgraph = depsgraph;
2130     context->scene = scene;
2131     context->orig_seq = seq;
2132     context->seq = nseq;
2133
2134     context->view_id = i; /* only for images */
2135
2136     link = BLI_genericNodeN(context);
2137     BLI_addtail(queue, link);
2138
2139     if (nseq->type == SEQ_TYPE_MOVIE) {
2140       StripAnim *sanim;
2141
2142       seq_open_anim_file(scene, nseq, true);
2143       sanim = BLI_findlink(&nseq->anims, i);
2144
2145       if (sanim->anim) {
2146         context->index_context = IMB_anim_index_rebuild_context(sanim->anim,
2147                                                                 context->tc_flags,
2148                                                                 context->size_flags,
2149                                                                 context->quality,
2150                                                                 context->overwrite,
2151                                                                 file_list);
2152       }
2153     }
2154   }
2155 }
2156
2157 void BKE_sequencer_proxy_rebuild(SeqIndexBuildContext *context,
2158                                  short *stop,
2159                                  short *do_update,
2160                                  float *progress)
2161 {
2162   const bool overwrite = context->overwrite;
2163   SeqRenderData render_context;
2164   Sequence *seq = context->seq;
2165   Scene *scene = context->scene;
2166   Main *bmain = context->bmain;
2167   int cfra;
2168
2169   if (seq->type == SEQ_TYPE_MOVIE) {
2170     if (context->index_context) {
2171       IMB_anim_index_rebuild(context->index_context, stop, do_update, progress);
2172     }
2173
2174     return;
2175   }
2176
2177   if (!(seq->flag & SEQ_USE_PROXY)) {
2178     return;
2179   }
2180
2181   /* that's why it is called custom... */
2182   if (seq->strip->proxy && seq->strip->proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_FILE) {
2183     return;
2184   }
2185
2186   /* fail safe code */
2187
2188   BKE_sequencer_new_render_data(bmain,
2189                                 context->depsgraph,
2190                                 context->scene,
2191                                 (scene->r.size * (float)scene->r.xsch) / 100.0f + 0.5f,
2192                                 (scene->r.size * (float)scene->r.ysch) / 100.0f + 0.5f,
2193                                 100,
2194                                 false,
2195                                 &render_context);
2196
2197   render_context.skip_cache = true;
2198   render_context.is_proxy_render = true;
2199   render_context.view_id = context->view_id;
2200
2201   SeqRenderState state;
2202   sequencer_state_init(&state);
2203
2204   for (cfra = seq->startdisp + seq->startstill; cfra < seq->enddisp - seq->endstill; cfra++) {
2205     if (context->size_flags & IMB_PROXY_25) {
2206       seq_proxy_build_frame(&render_context, &state, seq, cfra, 25, overwrite);
2207     }
2208     if (context->size_flags & IMB_PROXY_50) {
2209       seq_proxy_build_frame(&render_context, &state, seq, cfra, 50, overwrite);
2210     }
2211     if (context->size_flags & IMB_PROXY_75) {
2212       seq_proxy_build_frame(&render_context, &state, seq, cfra, 75, overwrite);
2213     }
2214     if (context->size_flags & IMB_PROXY_100) {
2215       seq_proxy_build_frame(&render_context, &state, seq, cfra, 100, overwrite);
2216     }
2217
2218     *progress = (float)(cfra - seq->startdisp - seq->startstill) /
2219                 (seq->enddisp - seq->endstill - seq->startdisp - seq->startstill);
2220     *do_update = true;
2221
2222     if (*stop || G.is_break) {
2223       break;
2224     }
2225   }
2226 }
2227
2228 void BKE_sequencer_proxy_rebuild_finish(SeqIndexBuildContext *context, bool stop)
2229 {
2230   if (context->index_context) {
2231     StripAnim *sanim;
2232
2233     for (sanim = context->seq->anims.first; sanim; sanim = sanim->next) {
2234       IMB_close_anim_proxies(sanim->anim);
2235     }
2236
2237     for (sanim = context->orig_seq->anims.first; sanim; sanim = sanim->next) {
2238       IMB_close_anim_proxies(sanim->anim);
2239     }
2240
2241     IMB_anim_index_rebuild_finish(context->index_context, stop);
2242   }
2243
2244   seq_free_sequence_recurse(NULL, context->seq, true);
2245
2246   MEM_freeN(context);
2247 }
2248
2249 void BKE_sequencer_proxy_set(struct Sequence *seq, bool value)
2250 {
2251   if (value) {
2252     seq->flag |= SEQ_USE_PROXY;
2253     if (seq->strip->proxy == NULL) {
2254       seq->strip->proxy = MEM_callocN(sizeof(struct StripProxy), "StripProxy");
2255       seq->strip->proxy->quality = 90;
2256       seq->strip->proxy->build_tc_flags = SEQ_PROXY_TC_ALL;
2257       seq->strip->proxy->build_size_flags = SEQ_PROXY_IMAGE_SIZE_25;
2258     }
2259   }
2260   else {
2261     seq->flag &= ~SEQ_USE_PROXY;
2262   }
2263 }
2264
2265 /*********************** color balance *************************/
2266
2267 static StripColorBalance calc_cb(StripColorBalance *cb_)
2268 {
2269   StripColorBalance cb = *cb_;
2270   int c;
2271
2272   for (c = 0; c < 3; c++) {
2273     cb.lift[c] = 2.0f - cb.lift[c];
2274   }
2275
2276   if (cb.flag & SEQ_COLOR_BALANCE_INVERSE_LIFT) {
2277     for (c = 0; c < 3; c++) {
2278       /* tweak to give more subtle results
2279        * values above 1.0 are scaled */
2280       if (cb.lift[c] > 1.0f) {
2281         cb.lift[c] = pow(cb.lift[c] - 1.0f, 2.0) + 1.0;
2282       }
2283
2284       cb.lift[c] = 2.0f - cb.lift[c];
2285     }
2286   }
2287
2288   if (cb.flag & SEQ_COLOR_BALANCE_INVERSE_GAIN) {
2289     for (c = 0; c < 3; c++) {
2290       if (cb.gain[c] != 0.0f) {
2291         cb.gain[c] = 1.0f / cb.gain[c];
2292       }
2293       else {
2294         cb.gain[c] = 1000000; /* should be enough :) */
2295       }
2296     }
2297   }
2298
2299   if (!(cb.flag & SEQ_COLOR_BALANCE_INVERSE_GAMMA)) {
2300     for (c = 0; c < 3; c++) {
2301       if (cb.gamma[c] != 0.0f) {
2302         cb.gamma[c] = 1.0f / cb.gamma[c];
2303       }
2304       else {
2305         cb.gamma[c] = 1000000; /* should be enough :) */
2306       }
2307     }
2308   }
2309
2310   return cb;
2311 }
2312
2313 /* note: lift is actually 2-lift */
2314 MINLINE float color_balance_fl(
2315     float in, const float lift, const float gain, const float gamma, const float mul)
2316 {
2317   float x = (((in - 1.0f) * lift) + 1.0f) * gain;
2318
2319   /* prevent NaN */
2320   if (x < 0.f) {
2321     x = 0.f;
2322   }
2323
2324   return powf(x, gamma) * mul;
2325 }
2326
2327 static void make_cb_table_float(float lift, float gain, float gamma, float *table, float mul)
2328 {
2329   int y;
2330
2331   for (y = 0; y < 256; y++) {
2332     float v = color_balance_fl((float)y * (1.0f / 255.0f), lift, gain, gamma, mul);
2333
2334     table[y] = v;
2335   }
2336 }
2337
2338 static void color_balance_byte_byte(StripColorBalance *cb_,
2339                                     unsigned char *rect,
2340                                     unsigned char *mask_rect,
2341                                     int width,
2342                                     int height,
2343                                     float mul)
2344 {
2345   //unsigned char cb_tab[3][256];
2346   unsigned char *cp = rect;
2347   unsigned char *e = cp + width * 4 * height;
2348   unsigned char *m = mask_rect;
2349
2350   StripColorBalance cb = calc_cb(cb_);
2351
2352   while (cp < e) {
2353     float p[4];
2354     int c;
2355
2356     straight_uchar_to_premul_float(p, cp);
2357
2358     for (c = 0; c < 3; c++) {
2359       float t = color_balance_fl(p[c], cb.lift[c], cb.gain[c], cb.gamma[c], mul);
2360
2361       if (m) {
2362         float m_normal = (float)m[c] / 255.0f;
2363
2364         p[c] = p[c] * (1.0f - m_normal) + t * m_normal;
2365       }
2366       else {
2367         p[c] = t;
2368       }
2369     }
2370
2371     premul_float_to_straight_uchar(cp, p);
2372
2373     cp += 4;
2374     if (m) {
2375       m += 4;
2376     }
2377   }
2378 }
2379
2380 static void color_balance_byte_float(StripColorBalance *cb_,
2381                                      unsigned char *rect,
2382                                      float *rect_float,
2383                                      unsigned char *mask_rect,
2384                                      int width,
2385                                      int height,
2386                                      float mul)
2387 {
2388   float cb_tab[4][256];
2389   int c, i;
2390   unsigned char *p = rect;
2391   unsigned char *e = p + width * 4 * height;
2392   unsigned char *m = mask_rect;
2393   float *o;
2394   StripColorBalance cb;
2395
2396   o = rect_float;
2397
2398   cb = calc_cb(cb_);
2399
2400   for (c = 0; c < 3; c++) {
2401     make_cb_table_float(cb.lift[c], cb.gain[c], cb.gamma[c], cb_tab[c], mul);
2402   }
2403
2404   for (i = 0; i < 256; i++) {
2405     cb_tab[3][i] = ((float)i) * (1.0f / 255.0f);
2406   }
2407
2408   while (p < e) {
2409     if (m) {
2410       float t[3] = {m[0] / 255.0f, m[1] / 255.0f, m[2] / 255.0f};
2411
2412       p[0] = p[0] * (1.0f - t[0]) + t[0] * cb_tab[0][p[0]];
2413       p[1] = p[1] * (1.0f - t[1]) + t[1] * cb_tab[1][p[1]];
2414       p[2] = p[2] * (1.0f - t[2]) + t[2] * cb_tab[2][p[2]];
2415
2416       m += 4;
2417     }
2418     else {
2419       o[0] = cb_tab[0][p[0]];
2420       o[1] = cb_tab[1][p[1]];
2421       o[2] = cb_tab[2][p[2]];
2422     }
2423
2424     o[3] = cb_tab[3][p[3]];
2425
2426     p += 4;
2427     o += 4;
2428   }
2429 }
2430
2431 static void color_balance_float_float(StripColorBalance *cb_,
2432                                       float *rect_float,
2433                                       float *mask_rect_float,
2434                                       int width,
2435                                       int height,
2436                                       float mul)
2437 {
2438   float *p = rect_float;
2439   const float *e = rect_float + width * 4 * height;
2440   const float *m = mask_rect_float;
2441   StripColorBalance cb = calc_cb(cb_);
2442
2443   while (p < e) {
2444     int c;
2445     for (c = 0; c < 3; c++) {
2446       float t = color_balance_fl(p[c], cb.lift[c], cb.gain[c], cb.gamma[c], mul);
2447
2448       if (m) {
2449         p[c] = p[c] * (1.0f - m[c]) + t * m[c];
2450       }
2451       else {
2452         p[c] = t;
2453       }
2454     }
2455
2456     p += 4;
2457     if (m) {
2458       m += 4;
2459     }
2460   }
2461 }
2462
2463 typedef struct ColorBalanceInitData {
2464   StripColorBalance *cb;
2465   ImBuf *ibuf;
2466   float mul;
2467   ImBuf *mask;
2468   bool make_float;
2469 } ColorBalanceInitData;
2470
2471 typedef struct ColorBalanceThread {
2472   StripColorBalance *cb;
2473   float mul;
2474
2475   int width, height;
2476
2477   unsigned char *rect, *mask_rect;
2478   float *rect_float, *mask_rect_float;
2479
2480   bool make_float;
2481 } ColorBalanceThread;
2482
2483 static void color_balance_init_handle(void *handle_v,
2484                                       int start_line,
2485                                       int tot_line,
2486                                       void *init_data_v)
2487 {
2488   ColorBalanceThread *handle = (ColorBalanceThread *)handle_v;
2489   ColorBalanceInitData *init_data = (ColorBalanceInitData *)init_data_v;
2490   ImBuf *ibuf = init_data->ibuf;
2491   ImBuf *mask = init_data->mask;
2492
2493   int offset = 4 * start_line * ibuf->x;
2494
2495   memset(handle, 0, sizeof(ColorBalanceThread));
2496
2497   handle->cb = init_data->cb;
2498   handle->mul = init_data->mul;
2499   handle->width = ibuf->x;
2500   handle->height = tot_line;
2501   handle->make_float = init_data->make_float;
2502
2503   if (ibuf->rect) {
2504     handle->rect = (unsigned char *)ibuf->rect + offset;
2505   }
2506
2507   if (ibuf->rect_float) {
2508     handle->rect_float = ibuf->rect_float + offset;
2509   }
2510
2511   if (mask) {
2512     if (mask->rect) {
2513       handle->mask_rect = (unsigned char *)mask->rect + offset;
2514     }
2515
2516     if (mask->rect_float) {
2517       handle->mask_rect_float = mask->rect_float + offset;
2518     }
2519   }
2520   else {
2521     handle->mask_rect = NULL;
2522     handle->mask_rect_float = NULL;
2523   }
2524 }
2525
2526 static void *color_balance_do_thread(void *thread_data_v)
2527 {
2528   ColorBalanceThread *thread_data = (ColorBalanceThread *)thread_data_v;
2529   StripColorBalance *cb = thread_data->cb;
2530   int width = thread_data->width, height = thread_data->height;
2531   unsigned char *rect = thread_data->rect;
2532   unsigned char *mask_rect = thread_data->mask_rect;
2533   float *rect_float = thread_data->rect_float;
2534   float *mask_rect_float = thread_data->mask_rect_float;
2535   float mul = thread_data->mul;
2536
2537   if (rect_float) {
2538     color_balance_float_float(cb, rect_float, mask_rect_float, width, height, mul);
2539   }
2540   else if (thread_data->make_float) {
2541     color_balance_byte_float(cb, rect, rect_float, mask_rect, width, height, mul);
2542   }
2543   else {
2544     color_balance_byte_byte(cb, rect, mask_rect, width, height, mul);
2545   }
2546
2547   return NULL;
2548 }
2549
2550 /* cfra is offset by fra_offset only in case we are using a real mask. */
2551 ImBuf *BKE_sequencer_render_mask_input(const SeqRenderData *context,
2552                                        int mask_input_type,
2553                                        Sequence *mask_sequence,
2554                                        Mask *mask_id,
2555                                        int cfra,
2556                                        int fra_offset,
2557                                        bool make_float)
2558 {
2559   ImBuf *mask_input = NULL;
2560
2561   if (mask_input_type == SEQUENCE_MASK_INPUT_STRIP) {
2562     if (mask_sequence) {
2563       SeqRenderState state;
2564       sequencer_state_init(&state);
2565
2566       mask_input = seq_render_strip(context, &state, mask_sequence, cfra);
2567
2568       if (make_float) {
2569         if (!mask_input->rect_float) {
2570           IMB_float_from_rect(mask_input);
2571         }
2572       }
2573       else {
2574         if (!mask_input->rect) {
2575           IMB_rect_from_float(mask_input);
2576         }
2577       }
2578     }
2579   }
2580   else if (mask_input_type == SEQUENCE_MASK_INPUT_ID) {
2581     mask_input = seq_render_mask(context, mask_id, cfra - fra_offset, make_float);
2582   }
2583
2584   return mask_input;
2585 }
2586
2587 void BKE_sequencer_color_balance_apply(
2588     StripColorBalance *cb, ImBuf *ibuf, float mul, bool make_float, ImBuf *mask_input)
2589 {
2590   ColorBalanceInitData init_data;
2591
2592   if (!ibuf->rect_float && make_float) {
2593     imb_addrectfloatImBuf(ibuf);
2594   }
2595
2596   init_data.cb = cb;
2597   init_data.ibuf = ibuf;
2598   init_data.mul = mul;
2599   init_data.make_float = make_float;
2600   init_data.mask = mask_input;
2601
2602   IMB_processor_apply_threaded(ibuf->y,
2603                                sizeof(ColorBalanceThread),
2604                                &init_data,
2605                                color_balance_init_handle,
2606                                color_balance_do_thread);
2607
2608   /* color balance either happens on float buffer or byte buffer, but never on both,
2609    * free byte buffer if there's float buffer since float buffer would be used for
2610    * color balance in favor of byte buffer
2611    */
2612   if (ibuf->rect_float && ibuf->rect) {
2613     imb_freerectImBuf(ibuf);
2614   }
2615 }
2616
2617 /*
2618  * input preprocessing for SEQ_TYPE_IMAGE, SEQ_TYPE_MOVIE, SEQ_TYPE_MOVIECLIP and SEQ_TYPE_SCENE
2619  *
2620  * Do all the things you can't really do afterwards using sequence effects
2621  * (read: before rescaling to render resolution has been done)
2622  *
2623  * Order is important!
2624  *
2625  * - Deinterlace
2626  * - Crop and transform in image source coordinate space
2627  * - Flip X + Flip Y (could be done afterwards, backward compatibility)
2628  * - Promote image to float data (affects pipeline operations afterwards)
2629  * - Color balance (is most efficient in the byte -> float
2630  *   (future: half -> float should also work fine!)
2631  *   case, if done on load, since we can use lookup tables)
2632  * - Premultiply
2633  */
2634
2635 bool BKE_sequencer_input_have_to_preprocess(const SeqRenderData *context,
2636                                             Sequence *seq,
2637                                             float UNUSED(cfra))
2638 {
2639   float mul;
2640
2641   if (context->is_proxy_render) {
2642     return false;
2643   }
2644
2645   if (seq->flag &
2646       (SEQ_FILTERY | SEQ_USE_CROP | SEQ_USE_TRANSFORM | SEQ_FLIPX | SEQ_FLIPY | SEQ_MAKE_FLOAT)) {
2647     return true;
2648   }
2649
2650   mul = seq->mul;
2651
2652   if (seq->blend_mode == SEQ_BLEND_REPLACE) {
2653     mul *= seq->blend_opacity / 100.0f;
2654   }
2655
2656   if (mul != 1.0f) {
2657     return true;
2658   }
2659
2660   if (seq->sat != 1.0f) {
2661     return true;
2662   }
2663
2664   if (seq->modifiers.first) {
2665     return true;
2666   }
2667
2668   return false;
2669 }
2670
2671 static ImBuf *input_preprocess(const SeqRenderData *context,
2672                                Sequence *seq,
2673                                float cfra,
2674                                ImBuf *ibuf,
2675                                const bool is_proxy_image,
2676                                const bool is_preprocessed)
2677 {
2678   Scene *scene = context->scene;
2679   float mul;
2680
2681   ibuf = IMB_makeSingleUser(ibuf);
2682
2683   if ((seq->flag & SEQ_FILTERY) && !ELEM(seq->type, SEQ_TYPE_MOVIE, SEQ_TYPE_MOVIECLIP)) {
2684     IMB_filtery(ibuf);
2685   }
2686
2687   if (seq->flag & (SEQ_USE_CROP | SEQ_USE_TRANSFORM)) {
2688     StripCrop c = {0};
2689     StripTransform t = {0};
2690     int sx, sy, dx, dy;
2691
2692     if (is_proxy_image) {
2693       double f = seq_rendersize_to_scale_factor(context->preview_render_size);
2694
2695       if (f != 1.0) {
2696         IMB_scalefastImBuf(ibuf, ibuf->x / f, ibuf->y / f);
2697       }
2698     }
2699
2700     if (seq->flag & SEQ_USE_CROP && seq->strip->crop) {
2701       c = *seq->strip->crop;
2702     }
2703     if (seq->flag & SEQ_USE_TRANSFORM && seq->strip->transform) {
2704       t = *seq->strip->transform;
2705     }
2706
2707     if (is_preprocessed) {
2708       double xscale = scene->r.xsch ? ((double)context->rectx / (double)scene->r.xsch) : 1.0;
2709       double yscale = scene->r.ysch ? ((double)context->recty / (double)scene->r.ysch) : 1.0;
2710       if (seq->flag & SEQ_USE_TRANSFORM) {
2711         t.xofs *= xscale;
2712         t.yofs *= yscale;
2713       }
2714       if (seq->flag & SEQ_USE_CROP) {
2715         c.left *= xscale;
2716         c.right *= xscale;
2717         c.top *= yscale;
2718         c.bottom *= yscale;
2719       }
2720     }
2721
2722     sx = ibuf->x - c.left - c.right;
2723     sy = ibuf->y - c.top - c.bottom;
2724
2725     if (seq->flag & SEQ_USE_TRANSFORM) {
2726       if (is_preprocessed) {
2727         dx = context->rectx;
2728         dy = context->recty;
2729       }
2730       else {
2731         dx = scene->r.xsch;
2732         dy = scene->r.ysch;
2733       }
2734     }
2735     else {
2736       dx = sx;
2737       dy = sy;
2738     }
2739
2740     if (c.top + c.bottom >= ibuf->y || c.left + c.right >= ibuf->x || t.xofs >= dx ||
2741         t.yofs >= dy) {
2742       make_black_ibuf(ibuf);
2743     }
2744     else {
2745       ImBuf *i = IMB_allocImBuf(dx, dy, 32, ibuf->rect_float ? IB_rectfloat : IB_rect);
2746
2747       IMB_rectcpy(i, ibuf, t.xofs, t.yofs, c.left, c.bottom, sx, sy);
2748       sequencer_imbuf_assign_spaces(scene, i);
2749
2750       IMB_metadata_copy(i, ibuf);
2751       IMB_freeImBuf(ibuf);
2752
2753       ibuf = i;
2754     }
2755   }
2756
2757   if (seq->flag & SEQ_FLIPX) {
2758     IMB_flipx(ibuf);
2759   }
2760
2761   if (seq->flag & SEQ_FLIPY) {
2762     IMB_flipy(ibuf);
2763   }
2764
2765   if (seq->sat != 1.0f) {
2766     IMB_saturation(ibuf, seq->sat);
2767   }
2768
2769   mul = seq->mul;
2770
2771   if (seq->blend_mode == SEQ_BLEND_REPLACE) {
2772     mul *= seq->blend_opacity / 100.0f;
2773   }
2774
2775   if (seq->flag & SEQ_MAKE_FLOAT) {
2776     if (!ibuf->rect_float) {
2777       BKE_sequencer_imbuf_to_sequencer_space(scene, ibuf, true);
2778     }
2779
2780     if (ibuf->rect) {
2781       imb_freerectImBuf(ibuf);
2782     }
2783   }
2784
2785   if (mul != 1.0f) {
2786     multibuf(ibuf, mul);
2787   }
2788
2789   if (ibuf->x != context->rectx || ibuf->y != context->recty) {
2790     if (scene->r.mode & R_OSA) {
2791       IMB_scaleImBuf(ibuf, (short)context->rectx, (short)context->recty);
2792     }
2793     else {
2794       IMB_scalefastImBuf(ibuf, (short)context->rectx, (short)context->recty);
2795     }
2796   }
2797
2798   if (seq->modifiers.first) {
2799     ImBuf *ibuf_new = BKE_sequence_modifier_apply_stack(context, seq, ibuf, cfra);
2800
2801     if (ibuf_new != ibuf) {
2802       IMB_metadata_copy(ibuf_new, ibuf);
2803       IMB_freeImBuf(ibuf);
2804       ibuf = ibuf_new;
2805     }
2806   }
2807
2808   return ibuf;
2809 }
2810
2811 static ImBuf *copy_from_ibuf_still(const SeqRenderData *context, Sequence *seq, float nr)
2812 {
2813   ImBuf *rval = NULL;
2814   ImBuf *ibuf = NULL;
2815
2816   if (nr == 0) {
2817     ibuf = BKE_sequencer_cache_get(context, seq, seq->start, SEQ_STRIPELEM_IBUF_STARTSTILL);
2818   }
2819   else if (nr == seq->len - 1) {
2820     ibuf = BKE_sequencer_cache_get(context, seq, seq->start, SEQ_STRIPELEM_IBUF_ENDSTILL);
2821   }
2822
2823   if (ibuf) {
2824     rval = IMB_dupImBuf(ibuf);
2825     IMB_metadata_copy(rval, ibuf);
2826     IMB_freeImBuf(ibuf);
2827   }
2828
2829   return rval;
2830 }
2831
2832 static void copy_to_ibuf_still(const SeqRenderData *context, Sequence *seq, float nr, ImBuf *ibuf)
2833 {
2834   /* warning: ibuf may be NULL if the video fails to load */
2835   if (nr == 0 || nr == seq->len - 1) {
2836     /* we have to store a copy, since the passed ibuf
2837      * could be preprocessed afterwards (thereby silently
2838      * changing the cached image... */
2839     ImBuf *oibuf = ibuf;
2840     ibuf = IMB_dupImBuf(oibuf);
2841
2842     if (ibuf) {
2843       IMB_metadata_copy(ibuf, oibuf);
2844       sequencer_imbuf_assign_spaces(context->scene, ibuf);
2845     }
2846
2847     if (nr == 0) {
2848       BKE_sequencer_cache_put(context, seq, seq->start, SEQ_STRIPELEM_IBUF_STARTSTILL, ibuf);
2849     }
2850
2851     if (nr == seq->len - 1) {
2852       BKE_sequencer_cache_put(context, seq, seq->start, SEQ_STRIPELEM_IBUF_ENDSTILL, ibuf);
2853     }
2854
2855     IMB_freeImBuf(ibuf);
2856   }
2857 }
2858
2859 /*********************** strip rendering functions  *************************/
2860
2861 typedef struct RenderEffectInitData {
2862   struct SeqEffectHandle *sh;
2863   const SeqRenderData *context;
2864   Sequence *seq;
2865   float cfra, facf0, facf1;
2866   ImBuf *ibuf1, *ibuf2, *ibuf3;
2867
2868   ImBuf *out;
2869 } RenderEffectInitData;
2870
2871 typedef struct RenderEffectThread {
2872   struct SeqEffectHandle *sh;
2873   const SeqRenderData *context;
2874   Sequence *seq;
2875   float cfra, facf0, facf1;
2876   ImBuf *ibuf1, *ibuf2, *ibuf3;
2877
2878   ImBuf *out;
2879   int start_line, tot_line;
2880 } RenderEffectThread;
2881
2882 static void render_effect_execute_init_handle(void *handle_v,
2883                                               int start_line,
2884                                               int tot_line,
2885                                               void *init_data_v)
2886 {
2887   RenderEffectThread *handle = (RenderEffectThread *)handle_v;
2888   RenderEffectInitData *init_data = (RenderEffectInitData *)init_data_v;
2889
2890   handle->sh = init_data->sh;
2891   handle->context = init_data->context;
2892   handle->seq = init_data->seq;
2893   handle->cfra = init_data->cfra;
2894   handle->facf0 = init_data->facf0;
2895   handle->facf1 = init_data->facf1;
2896   handle->ibuf1 = init_data->ibuf1;
2897   handle->ibuf2 = init_data->ibuf2;
2898   handle->ibuf3 = init_data->ibuf3;
2899   handle->out = init_data->out;
2900
2901   handle->start_line = start_line;
2902   handle->tot_line = tot_line;
2903 }
2904
2905 static void *render_effect_execute_do_thread(void *thread_data_v)
2906 {
2907   RenderEffectThread *thread_data = (RenderEffectThread *)thread_data_v;
2908
2909   thread_data->sh->execute_slice(thread_data->context,
2910                                  thread_data->seq,
2911                                  thread_data->cfra,
2912                                  thread_data->facf0,
2913                                  thread_data->facf1,
2914                                  thread_data->ibuf1,
2915                                  thread_data->ibuf2,
2916                                  thread_data->ibuf3,
2917                                  thread_data->start_line,
2918                                  thread_data->tot_line,
2919                                  thread_data->out);
2920
2921   return NULL;
2922 }
2923
2924 static ImBuf *seq_render_effect_execute_threaded(struct SeqEffectHandle *sh,
2925                                                  const SeqRenderData *context,
2926                                                  Sequence *seq,
2927                                                  float cfra,
2928                                                  float facf0,
2929                                                  float facf1,
2930                                                  ImBuf *ibuf1,
2931                                                  ImBuf *ibuf2,
2932                                                  ImBuf *ibuf3)
2933 {
2934   RenderEffectInitData init_data;
2935   ImBuf *out = sh->init_execution(context, ibuf1, ibuf2, ibuf3);
2936
2937   init_data.sh = sh;
2938   init_data.context = context;
2939   init_data.seq = seq;
2940   init_data.cfra = cfra;
2941   init_data.facf0 = facf0;
2942   init_data.facf1 = facf1;
2943   init_data.ibuf1 = ibuf1;
2944   init_data.ibuf2 = ibuf2;
2945   init_data.ibuf3 = ibuf3;
2946   init_data.out = out;
2947
2948   IMB_processor_apply_threaded(out->y,
2949                                sizeof(RenderEffectThread),
2950                                &init_data,
2951                                render_effect_execute_init_handle,
2952                                render_effect_execute_do_thread);
2953
2954   return out;
2955 }
2956
2957 static ImBuf *seq_render_effect_strip_impl(const SeqRenderData *context,
2958                                            SeqRenderState *state,
2959                                            Sequence *seq,
2960                                            float cfra)
2961 {
2962   Scene *scene = context->scene;
2963   float fac, facf;
2964   int early_out;
2965   int i;
2966   struct SeqEffectHandle sh = BKE_sequence_get_effect(seq);
2967   FCurve *fcu = NULL;
2968   ImBuf *ibuf[3];
2969   Sequence *input[3];
2970   ImBuf *out = NULL;
2971
2972   ibuf[0] = ibuf[1] = ibuf[2] = NULL;
2973
2974   input[0] = seq->seq1;
2975   input[1] = seq->seq2;
2976   input[2] = seq->seq3;
2977
2978   if (!sh.execute && !(sh.execute_slice && sh.init_execution)) {
2979     /* effect not supported in this version... */
2980     out = IMB_allocImBuf(context->rectx, context->recty, 32, IB_rect);
2981     return out;
2982   }
2983
2984   if (seq->flag & SEQ_USE_EFFECT_DEFAULT_FADE) {
2985     sh.get_default_fac(seq, cfra, &fac, &facf);
2986     facf = fac;
2987   }
2988   else {
2989     fcu = id_data_find_fcurve(&scene->id, seq, &RNA_Sequence, "effect_fader", 0, NULL);
2990     if (fcu) {
2991       fac = facf = evaluate_fcurve(fcu, cfra);
2992     }
2993     else {
2994       fac = facf = seq->effect_fader;
2995     }
2996   }
2997
2998   early_out = sh.early_out(seq, fac, facf);
2999
3000   switch (early_out) {
3001     case EARLY_NO_INPUT:
3002       out = sh.execute(context, seq, cfra, fac, facf, NULL, NULL, NULL);
3003       break;
3004     case EARLY_DO_EFFECT:
3005       for (i = 0; i < 3; i++) {
3006         if (input[i]) {
3007           ibuf[i] = seq_render_strip(context, state, input[i], cfra);
3008         }
3009       }
3010
3011       if (ibuf[0] && ibuf[1]) {
3012         if (sh.multithreaded) {
3013           out = seq_render_effect_execute_threaded(
3014               &sh, context, seq, cfra, fac, facf, ibuf[0], ibuf[1], ibuf[2]);
3015         }
3016         else {
3017           out = sh.execute(context, seq, cfra, fac, facf, ibuf[0], ibuf[1], ibuf[2]);
3018         }
3019       }
3020       break;
3021     case EARLY_USE_INPUT_1:
3022       if (input[0]) {
3023         ibuf[0] = seq_render_strip(context, state, input[0], cfra);
3024       }
3025       if (ibuf[0]) {
3026         if (BKE_sequencer_input_have_to_preprocess(context, seq, cfra)) {
3027           out = IMB_dupImBuf(ibuf[0]);
3028         }
3029         else {
3030           out = ibuf[0];
3031           IMB_refImBuf(out);
3032         }
3033       }
3034       break;
3035     case EARLY_USE_INPUT_2:
3036       if (input[1]) {
3037         ibuf[1] = seq_render_strip(context, state, input[1], cfra);
3038       }
3039       if (ibuf[1]) {
3040         if (BKE_sequencer_input_have_to_preprocess(context, seq, cfra)) {
3041           out = IMB_dupImBuf(ibuf[1]);
3042         }
3043         else {
3044           out = ibuf[1];
3045           IMB_refImBuf(out);
3046         }
3047       }
3048       break;
3049   }
3050
3051   for (i = 0; i < 3; i++) {
3052     IMB_freeImBuf(ibuf[i]);
3053   }
3054
3055   if (out == NULL) {
3056     out = IMB_allocImBuf(context->rectx, context->recty, 32, IB_rect);
3057   }
3058
3059   return out;
3060 }
3061
3062 static ImBuf *seq_render_image_strip(const SeqRenderData *context,
3063                                      Sequence *seq,
3064                                      float nr,
3065                                      float cfra)
3066 {
3067   ImBuf *ibuf = NULL;
3068   char name[FILE_MAX];
3069   bool is_multiview = (seq->flag & SEQ_USE_VIEWS) != 0 &&
3070                       (context->scene->r.scemode & R_MULTIVIEW) != 0;
3071   StripElem *s_elem = BKE_sequencer_give_stripelem(seq, cfra);
3072   int flag;
3073
3074   if (s_elem) {
3075     BLI_join_dirfile(name, sizeof(name), seq->strip->dir, s_elem->name);
3076     BLI_path_abs(name, BKE_main_blendfile_path_from_global());
3077   }
3078
3079   flag = IB_rect | IB_metadata;
3080   if (seq->alpha_mode == SEQ_ALPHA_PREMUL) {
3081     flag |= IB_alphamode_premul;
3082   }
3083
3084   if (!s_elem) {
3085     /* don't do anything */
3086   }
3087   else if (is_multiview) {
3088     const int totfiles = seq_num_files(context->scene, seq->views_format, true);
3089     int totviews;
3090     struct ImBuf **ibufs_arr;
3091     char prefix[FILE_MAX];
3092     const char *ext = NULL;
3093     int i;
3094
3095     if (totfiles > 1) {
3096       BKE_scene_multiview_view_prefix_get(context->scene, name, prefix, &ext);
3097       if (prefix[0] == '\0') {
3098         goto monoview_image;
3099       }
3100     }
3101     else {
3102       prefix[0] = '\0';
3103     }
3104
3105     totviews = BKE_scene_multiview_num_views_get(&context->scene->r);
3106     ibufs_arr = MEM_callocN(sizeof(ImBuf *) * totviews, "Sequence Image Views Imbufs");
3107
3108     for (i = 0; i < totfiles; i++) {
3109
3110       if (prefix[0] == '\0') {
3111         ibufs_arr[i] = IMB_loadiffname(name, flag, seq->strip->colorspace_settings.name);
3112       }
3113       else {
3114         char str[FILE_MAX];
3115         seq_multiview_name(context->scene, i, prefix, ext, str, FILE_MAX);
3116         ibufs_arr[i] = IMB_loadiffname(str, flag, seq->strip->colorspace_settings.name);
3117       }
3118
3119       if (ibufs_arr[i]) {
3120         /* we don't need both (speed reasons)! */
3121         if (ibufs_arr[i]->rect_float && ibufs_arr[i]->rect) {
3122           imb_freerectImBuf(ibufs_arr[i]);
3123         }
3124       }
3125     }
3126
3127     if (seq->views_format == R_IMF_VIEWS_STEREO_3D && ibufs_arr[0]) {
3128       IMB_ImBufFromStereo3d(seq->stereo3d_format, ibufs_arr[0], &ibufs_arr[0], &ibufs_arr[1]);
3129     }
3130
3131     for (i = 0; i < totviews; i++) {
3132       if (ibufs_arr[i]) {
3133         SeqRenderData localcontext = *context;
3134         localcontext.view_id = i;
3135
3136         /* all sequencer color is done in SRGB space, linear gives odd crossfades */
3137         BKE_sequencer_imbuf_to_sequencer_space(context->scene, ibufs_arr[i], false);
3138
3139         if (i != context->view_id) {
3140           copy_to_ibuf_still(&localcontext, seq, nr, ibufs_arr[i]);
3141           BKE_sequencer_cache_put(&localcontext, seq, cfra, SEQ_STRIPELEM_IBUF, ibufs_arr[i]);
3142         }
3143       }
3144     }
3145
3146     /* return the original requested ImBuf */
3147     ibuf = ibufs_arr[context->view_id];
3148     if (ibuf) {
3149       s_elem->orig_width = ibufs_arr[0]->x;
3150       s_elem->orig_height = ibufs_arr[0]->y;
3151     }
3152
3153     /* "remove" the others (decrease their refcount) */
3154     for (i = 0; i < totviews; i++) {
3155       if (ibufs_arr[i] != ibuf) {
3156         IMB_freeImBuf(ibufs_arr[i]);
3157       }
3158     }
3159
3160     MEM_freeN(ibufs_arr);
3161   }
3162   else {
3163   monoview_image:
3164     if ((ibuf = IMB_loadiffname(name, flag, seq->strip->colorspace_settings.name))) {
3165       /* we don't need both (speed reasons)! */
3166       if (ibuf->rect_float && ibuf->rect) {
3167         imb_freerectImBuf(ibuf);
3168       }
3169
3170       /* all sequencer color is done in SRGB space, linear gives odd crossfades */
3171       BKE_sequencer_imbuf_to_sequencer_space(context->scene, ibuf, false);
3172
3173       s_elem->orig_width = ibuf->x;
3174       s_elem->orig_height = ibuf->y;
3175     }
3176   }
3177
3178   return ibuf;
3179 }
3180
3181 static ImBuf *seq_render_movie_strip(const SeqRenderData *context,
3182                                      Sequence *seq,
3183                                      float nr,
3184                                      float cfra)
3185 {
3186   ImBuf *ibuf = NULL;
3187   StripAnim *sanim;
3188   bool is_multiview = (seq->flag & SEQ_USE_VIEWS) != 0 &&
3189                       (context->scene->r.scemode & R_MULTIVIEW) != 0;
3190
3191   /* load all the videos */
3192   seq_open_anim_file(context->scene, seq, false);
3193
3194   if (is_multiview) {
3195     ImBuf **ibuf_arr;
3196     const int totfiles = seq_num_files(context->scene, seq->views_format, true);
3197     int totviews;
3198     int i;
3199
3200     if (totfiles != BLI_listbase_count_at_most(&seq->anims, totfiles + 1)) {
3201       goto monoview_movie;
3202     }
3203
3204     totviews = BKE_scene_multiview_num_views_get(&context->scene->r);
3205     ibuf_arr = MEM_callocN(sizeof(ImBuf *) * totviews, "Sequence Image Views Imbufs");
3206
3207     for (i = 0, sanim = seq->anims.first; sanim; sanim = sanim->next, i++) {
3208       if (sanim->anim) {
3209         IMB_Proxy_Size proxy_size = seq_rendersize_to_proxysize(context->preview_render_size);
3210         IMB_anim_set_preseek(sanim->anim, seq->anim_preseek);
3211
3212         ibuf_arr[i] = IMB_anim_absolute(sanim->anim,
3213                                         nr + seq->anim_startofs,
3214                                         seq->strip->proxy ? seq->strip->proxy->tc :
3215                                                             IMB_TC_RECORD_RUN,
3216                                         proxy_size);
3217
3218         /* fetching for requested proxy size failed, try fetching the original instead */
3219         if (!ibuf_arr[i] && proxy_size != IMB_PROXY_NONE) {
3220           ibuf_arr[i] = IMB_anim_absolute(sanim->anim,
3221                                           nr + seq->anim_startofs,
3222                                           seq->strip->proxy ? seq->strip->proxy->tc :
3223                                                               IMB_TC_RECORD_RUN,
3224                                           IMB_PROXY_NONE);
3225         }
3226         if (ibuf_arr[i]) {
3227           /* we don't need both (speed reasons)! */
3228           if (ibuf_arr[i]->rect_float && ibuf_arr[i]->rect) {
3229             imb_freerectImBuf(ibuf_arr[i]);
3230           }
3231         }
3232       }
3233     }
3234
3235     if (seq->views_format == R_IMF_VIEWS_STEREO_3D) {
3236       if (ibuf_arr[0]) {
3237         IMB_ImBufFromStereo3d(seq->stereo3d_format, ibuf_arr[0], &ibuf_arr[0], &ibuf_arr[1]);
3238       }
3239       else {
3240         /* probably proxy hasn't been created yet */
3241         MEM_freeN(ibuf_arr);
3242         return NULL;
3243       }
3244     }
3245
3246     for (i = 0; i < totviews; i++) {
3247       SeqRenderData localcontext = *context;
3248       localcontext.view_id = i;
3249
3250       if (ibuf_arr[i]) {
3251         /* all sequencer color is done in SRGB space, linear gives odd crossfades */
3252         BKE_sequencer_imbuf_to_sequencer_space(context->scene, ibuf_arr[i], false);
3253       }
3254       if (i != context->view_id) {
3255         copy_to_ibuf_still(&localcontext, seq, nr, ibuf_arr[i]);
3256         BKE_sequencer_cache_put(&localcontext, seq, cfra, SEQ_STRIPELEM_IBUF, ibuf_arr[i]);
3257       }
3258     }
3259
3260     /* return the original requested ImBuf */
3261     ibuf = ibuf_arr[context->view_id];
3262     if (ibuf) {
3263       seq->strip->stripdata->orig_width = ibuf->x;
3264       seq->strip->stripdata->orig_height = ibuf->y;
3265     }
3266
3267     /* "remove" the others (decrease their refcount) */
3268     for (i = 0; i < totviews; i++) {
3269       if (ibuf_arr[i] != ibuf) {
3270         IMB_freeImBuf(ibuf_arr[i]);
3271       }
3272     }
3273
3274     MEM_freeN(ibuf_arr);
3275   }
3276   else {
3277   monoview_movie:
3278     sanim = seq->anims.first;
3279     if (sanim && sanim->anim) {
3280       IMB_Proxy_Size proxy_size = seq_rendersize_to_proxysize(context->preview_render_size);
3281       IMB_anim_set_preseek(sanim->anim, seq->anim_preseek);
3282
3283       ibuf = IMB_anim_absolute(sanim->anim,
3284                                nr + seq->anim_startofs,
3285                                seq->strip->proxy ? seq->strip->proxy->tc : IMB_TC_RECORD_RUN,
3286                                proxy_size);
3287
3288       /* fetching for requested proxy size failed, try fetching the original instead */
3289       if (!ibuf && proxy_size != IMB_PROXY_NONE) {
3290         ibuf = IMB_anim_absolute(sanim->anim,
3291                                  nr + seq->anim_startofs,
3292                                  seq->strip->proxy ? seq->strip->proxy->tc : IMB_TC_RECORD_RUN,
3293                                  IMB_PROXY_NONE);
3294       }
3295       if (ibuf) {
3296         BKE_sequencer_imbuf_to_sequencer_space(context->scene, ibuf, false);
3297
3298         /* we don't need both (speed reasons)! */
3299         if (ibuf->rect_float && ibuf->rect) {
3300           imb_freerectImBuf(ibuf);
3301         }
3302
3303         seq->strip->stripdata->orig_width = ibuf->x;
3304         seq->strip->stripdata->orig_height = ibuf->y;
3305       }
3306     }
3307   }
3308   return ibuf;
3309 }
3310
3311 static ImBuf *seq_render_movieclip_strip(const SeqRenderData *context, Sequence *seq, float nr)
3312 {
3313   ImBuf *ibuf = NULL;
3314   MovieClipUser user;
3315   float tloc[2], tscale, tangle;
3316
3317   if (!seq->clip) {
3318     return NULL;
3319   }
3320
3321   memset(&user, 0, sizeof(MovieClipUser));
3322
3323   BKE_movieclip_user_set_frame(&user, nr + seq->anim_startofs + seq->clip->start_frame);
3324
3325   user.render_flag |= MCLIP_PROXY_RENDER_USE_FALLBACK_RENDER;
3326
3327   user.render_size = MCLIP_PROXY_RENDER_SIZE_FULL;
3328   switch (seq_rendersize_to_proxysize(context->preview_render_size)) {
3329     case IMB_PROXY_NONE:
3330       user.render_size = MCLIP_PROXY_RENDER_SIZE_FULL;
3331       break;
3332     case IMB_PROXY_100:
3333       user.render_size = MCLIP_PROXY_RENDER_SIZE_100;
3334       break;
3335     case IMB_PROXY_75:
3336       user.render_size = MCLIP_PROXY_RENDER_SIZE_75;
3337       break;
3338     case IMB_PROXY_50:
3339       user.render_size = MCLIP_PROXY_RENDER_SIZE_50;
3340       break;
3341     case IMB_PROXY_25:
3342       user.render_size = MCLIP_PROXY_RENDER_SIZE_25;
3343       break;
3344   }
3345
3346   if (seq->clip_flag & SEQ_MOVIECLIP_RENDER_UNDISTORTED) {
3347     user.render_flag |= MCLIP_PROXY_RENDER_UNDISTORT;
3348   }
3349
3350   if (seq->clip_flag & SEQ_MOVIECLIP_RENDER_STABILIZED) {
3351     ibuf = BKE_movieclip_get_stable_ibuf(seq->clip, &user, tloc, &tscale, &tangle, 0);
3352   }
3353   else {
3354     ibuf = BKE_movieclip_get_ibuf_flag(seq->clip, &user, seq->clip->flag, MOVIECLIP_CACHE_SKIP);
3355   }
3356
3357   return ibuf;
3358 }
3359
3360 static ImBuf *seq_render_mask(const SeqRenderData *context, Mask *mask, float nr, bool make_float)
3361 {
3362   /* TODO - add option to rasterize to alpha imbuf? */
3363   ImBuf *ibuf = NULL;
3364   float *maskbuf;
3365   int i;
3366
3367   if (!mask) {
3368     return NULL;
3369   }
3370   else {
3371     AnimData *adt;
3372     Mask *mask_temp;
3373     MaskRasterHandle *mr_handle;
3374
3375     mask_temp = BKE_mask_copy_nolib(mask);
3376
3377     BKE_mask_evaluate(mask_temp, mask->sfra + nr, true);
3378
3379     /* anim-data */
3380     adt = BKE_animdata_from_id(&mask->id);
3381     BKE_animsys_evaluate_animdata(
3382         context->depsgraph, context->scene, &mask_temp->id, adt, nr, ADT_RECALC_ANIM);
3383
3384     maskbuf = MEM_mallocN(sizeof(float) * context->rectx * context->recty, __func__);
3385
3386     mr_handle = BKE_maskrasterize_handle_new();
3387
3388     BKE_maskrasterize_handle_init(
3389         mr_handle, mask_temp, context->rectx, context->recty, true, true, true);
3390
3391     BKE_mask_free(mask_temp);
3392     MEM_freeN(mask_temp);
3393
3394     BKE_maskrasterize_buffer(mr_handle, context->rectx, context->recty, maskbuf);
3395
3396     BKE_maskrasterize_handle_free(mr_handle);
3397   }
3398
3399   if (make_float) {
3400     /* pixels */
3401     const float *fp_src;
3402     float *fp_dst;
3403
3404     ibuf = IMB_allocImBuf(context->rectx, context->recty, 32, IB_rectfloat);
3405
3406     fp_src = maskbuf;
3407     fp_dst = ibuf->rect_float;
3408     i = context->rectx * context->recty;
3409     while (--i) {
3410       fp_dst[0] = fp_dst[1] = fp_dst[2] = *fp_src;
3411       fp_dst[3] = 1.0f;
3412
3413       fp_src += 1;
3414       fp_dst += 4;
3415     }
3416   }
3417   else {
3418     /* pixels */
3419     const float *fp_src;
3420     unsigned char *ub_dst;
3421
3422     ibuf = IMB_allocImBuf(context->rectx, context->recty, 32, IB_rect);
3423
3424     fp_src = maskbuf;
3425     ub_dst = (unsigned char *)ibuf->rect;
3426     i = context->rectx * context->recty;
3427     while (--i) {
3428       ub_dst[0] = ub_dst[1] = ub_dst[2] = (unsigned char)(*fp_src * 255.0f); /* already clamped */
3429       ub_dst[3] = 255;
3430
3431       fp_src += 1;
3432       ub_dst += 4;
3433     }
3434   }
3435
3436   MEM_freeN(maskbuf);
3437
3438   return ibuf;
3439 }
3440
3441 static ImBuf *seq_render_mask_strip(const SeqRenderData *context, Sequence *seq, float nr)
3442 {
3443   bool make_float = (seq->flag & SEQ_MAKE_FLOAT) != 0;
3444
3445   return seq_render_mask(context, seq->mask, nr, make_float);
3446 }
3447
3448 static ImBuf *seq_render_scene_strip(const SeqRenderData *context,
3449                                      Sequence *seq,
3450                                      float nr,
3451                                      float cfra)
3452 {
3453   ImBuf *ibuf = NULL;
3454   double frame;
3455   Object *camera;
3456
3457   struct {
3458     int scemode;
3459     int cfra;
3460     float subframe;
3461
3462 #ifdef DURIAN_CAMERA_SWITCH
3463     int mode;
3464 #endif
3465   } orig_data;
3466
3467   /* Old info:
3468    * Hack! This function can be called from do_render_seq(), in that case
3469    * the seq->scene can already have a Render initialized with same name,
3470    * so we have to use a default name. (compositor uses scene name to
3471    * find render).
3472    * However, when called from within the UI (image preview in sequencer)
3473    * we do want to use scene Render, that way the render result is defined
3474    * for display in render/imagewindow
3475    *
3476    * Hmm, don't see, why we can't do that all the time,
3477    * and since G.is_rendering is uhm, gone... (Peter)
3478    */
3479
3480   /* New info:
3481    * Using the same name for the renders works just fine as the do_render_seq()
3482    * render is not used while the scene strips are rendered.
3483    *
3484    * However rendering from UI (through sequencer_preview_area_draw) can crash in
3485    * very many cases since other renders (material preview, an actual render etc.)
3486    * can be started while this sequence preview render is running. The only proper
3487    * solution is to make the sequencer preview render a proper job, which can be
3488    * stopped when needed. This would also give a nice progress bar for the preview
3489    * space so that users know there's something happening.
3490    *
3491    * As a result the active scene now only uses OpenGL rendering for the sequencer
3492    * preview. This is far from nice, but is the only way to prevent crashes at this
3493    * time.
3494    *
3495    * -jahka
3496    */
3497
3498   const bool is_rendering = G.is_rendering;
3499   const bool is_background = G.background;
3500   const bool do_seq_gl = is_rendering ? 0 /* (context->scene->r.seq_flag & R_SEQ_GL_REND) */ :
3501                                         (context->scene->r.seq_prev_type) != OB_RENDER;
3502   // bool have_seq = false;  /* UNUSED */
3503   bool have_comp = false;
3504   bool use_gpencil = true;
3505   /* do we need to re-evaluate the frame after rendering? */
3506   bool is_frame_update = false;
3507   Scene *scene;
3508   int is_thread_main = BLI_thread_is_main();
3509
3510   /* don't refer to seq->scene above this point!, it can be NULL */
3511   if (seq->scene == NULL) {
3512     return NULL;
3513   }
3514
3515   scene = seq->scene;
3516   frame = (double)scene->r.sfra + (double)nr + (double)seq->anim_startofs;
3517
3518   // have_seq = (scene->r.scemode & R_DOSEQ) && scene->ed && scene->ed->seqbase.first);  /* UNUSED */
3519   have_comp = (scene->r.scemode & R_DOCOMP) && scene->use_nodes && scene->nodetree;
3520
3521   /* Get view layer for the strip. */
3522   ViewLayer *view_layer = BKE_view_layer_default_render(scene);
3523   /* Depsgraph will be NULL when doing rendering. */
3524   Depsgraph *depsgraph = NULL;
3525
3526   orig_data.scemode = scene->r.scemode;
3527   orig_data.cfra = scene->r.cfra;
3528   orig_data.subframe = scene->r.subframe;
3529 #ifdef DURIAN_CAMERA_SWITCH
3530   orig_data.mode = scene->r.mode;
3531 #endif
3532
3533   BKE_scene_frame_set(scene, frame);
3534
3535   if (seq->scene_camera) {
3536     camera = seq->scene_camera;
3537   }
3538   else {
3539     BKE_scene_camera_switch_update(scene);
3540     camera = scene->camera;
3541   }
3542
3543   if (have_comp == false && camera == NULL) {
3544     goto finally;
3545   }
3546
3547   if (seq->flag & SEQ_SCENE_NO_GPENCIL) {
3548     use_gpencil = false;
3549   }
3550
3551   /* prevent eternal loop */
3552   scene->r.scemode &= ~R_DOSEQ;
3553
3554 #ifdef DURIAN_CAMERA_SWITCH
3555   /* stooping to new low's in hackyness :( */
3556   scene->r.mode |= R_NO_CAMERA_SWITCH;
3557 #endif
3558
3559   is_frame_update = (orig_data.cfra != scene->r.cfra) || (orig_data.subframe != scene->r.subframe);
3560
3561   if ((sequencer_view3d_cb && do_seq_gl && camera) && is_thread_main) {
3562     char err_out[256] = "unknown";
3563     const int width = (scene->r.xsch * scene->r.size) / 100;
3564     const int height = (scene->r.ysch * scene->r.size) / 100;
3565     const bool use_background = (scene->r.alphamode == R_ADDSKY);
3566     const char *viewname = BKE_scene_multiview_render_view_name_get(&scene->r, context->view_id);
3567
3568     unsigned int draw_flags = SEQ_OFSDRAW_NONE;
3569     draw_flags |= (use_gpencil) ? SEQ_OFSDRAW_USE_GPENCIL : 0;
3570     draw_flags |= (use_background) ? SEQ_OFSDRAW_USE_BACKGROUND : 0;
3571     draw_flags |= (context->gpu_full_samples) ? SEQ_OFSDRAW_USE_FULL_SAMPLE : 0;
3572     draw_flags |= (context->scene->r.seq_flag & R_SEQ_SOLID_TEX) ? SEQ_OFSDRAW_USE_SOLID_TEX : 0;
3573     draw_flags |= (context->scene->r.seq_flag & R_SEQ_CAMERA_DOF) ? SEQ_OFSDRAW_USE_CAMERA_DOF : 0;
3574
3575     /* for old scene this can be uninitialized,
3576      * should probably be added to do_versions at some point if the functionality stays */
3577     if (context->scene->r.seq_prev_type == 0) {
3578       context->scene->r.seq_prev_type = 3 /* == OB_SOLID */;
3579     }
3580
3581     /* opengl offscreen render */
3582     depsgraph = BKE_scene_get_depsgraph(scene, view_layer, true);
3583     BKE_scene_graph_update_for_newframe(depsgraph, context->bmain);
3584     ibuf = sequencer_view3d_cb(
3585         /* set for OpenGL render (NULL when scrubbing) */
3586         depsgraph,
3587         scene,
3588         context->scene->r.seq_prev_type,
3589         camera,
3590         width,
3591         height,
3592         IB_rect,
3593         draw_flags,
3594         scene->r.alphamode,
3595         context->gpu_samples,
3596         viewname,
3597         context->gpu_offscreen,
3598         err_out);
3599     if (ibuf == NULL) {
3600       fprintf(stderr, "seq_render_scene_strip failed to get opengl buffer: %s\n", err_out);
3601     }
3602   }
3603   else {
3604     Render *re = RE_GetSceneRender(scene);
3605     const int totviews = BKE_scene_multiview_num_views_get(&scene->r);
3606     int i;
3607     ImBuf **ibufs_arr;
3608
3609     ibufs_arr = MEM_callocN(sizeof(ImBuf *) * totviews, "Sequence Image Views Imbufs");
3610
3611     /* XXX: this if can be removed when sequence preview rendering uses the job system
3612      *
3613      * disable rendered preview for sequencer while rendering -- it's very much possible
3614      * that preview render will went into conflict with final render
3615      *
3616      * When rendering from command line renderer is called from main thread, in this
3617      * case it's always safe to render scene here
3618      */
3619     if (!is_thread_main || is_rendering == false || is_background || context->for_render) {
3620       if (re == NULL) {
3621         re = RE_NewSceneRender(scene);
3622       }
3623
3624       RE_BlenderFrame(re, context->bmain, scene, view_layer, camera, frame, false);
3625
3626       /* restore previous state after it was toggled on & off by RE_BlenderFrame */
3627       G.is_rendering = is_rendering;
3628     }
3629
3630     for (i = 0; i < totviews; i++) {
3631       SeqRenderData localcontext = *context;
3632       RenderResult rres;
3633
3634       localcontext.view_id = i;
3635
3636       RE_AcquireResultImage(re, &rres, i);
3637
3638       if (rres.rectf) {
3639         ibufs_arr[i] = IMB_allocImBuf(rres.rectx, rres.recty, 32, IB_rectfloat);
3640         memcpy(ibufs_arr[i]->rect_float, rres.rectf, 4 * sizeof(float) * rres.rectx * rres.recty);
3641
3642         if (rres.rectz) {
3643           addzbuffloatImBuf(ibufs_arr[i]);
3644           memcpy(ibufs_arr[i]->zbuf_float, rres.rectz, sizeof(float) * rres.rectx * rres.recty);
3645         }
3646
3647         /* float buffers in the sequencer are not linear */
3648         BKE_sequencer_imbuf_to_sequencer_space(context->scene, ibufs_arr[i], false);
3649       }
3650       else if (rres.rect32) {
3651         ibufs_arr[i] = IMB_allocImBuf(rres.rectx, rres.recty, 32, IB_rect);
3652         memcpy(ibufs_arr[i]->rect, rres.rect32, 4 * rres.rectx * rres.recty);
3653       }
3654
3655       if (i != context->view_id) {
3656         copy_to_ibuf_still(&localcontext, seq, nr, ibufs_arr[i]);
3657         BKE_sequencer_cache_put(&localcontext, seq, cfra, SEQ_STRIPELEM_IBUF, ibufs_arr[i]);
3658       }
3659
3660       RE_ReleaseResultImage(re);
3661     }
3662
3663     /* return the original requested ImBuf */
3664     ibuf = ibufs_arr[context->view_id];
3665
3666     /* "remove" the others (decrease their refcount) */
3667     for (i = 0; i < totviews; i++) {
3668       if (ibufs_arr[i] != ibuf) {
3669         IMB_freeImBuf(ibufs_arr[i]);
3670       }
3671     }
3672     MEM_freeN(ibufs_arr);
3673   }
3674
3675 finally:
3676   /* restore */
3677   scene->r.scemode = orig_data.scemode;
3678   scene->r.cfra = orig_data.cfra;