Cleanup: rename IDP_FreeProperty_ex to IDP_FreePropertyContent_ex
[blender.git] / source / blender / blenkernel / intern / sequencer.c
1 /*
2  * This program is free software; you can redistribute it and/or
3  * modify it under the terms of the GNU General Public License
4  * as published by the Free Software Foundation; either version 2
5  * of the License, or (at your option) any later version.
6  *
7  * This program is distributed in the hope that it will be useful,
8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
10  * GNU General Public License for more details.
11  *
12  * You should have received a copy of the GNU General Public License
13  * along with this program; if not, write to the Free Software Foundation,
14  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
15  *
16  * The Original Code is Copyright (C) 2001-2002 by NaN Holding BV.
17  * All rights reserved.
18  *
19  * - Blender Foundation, 2003-2009
20  * - Peter Schlaile <peter [at] schlaile [dot] de> 2005/2006
21  */
22
23 /** \file
24  * \ingroup bke
25  */
26
27 #include <stddef.h>
28 #include <stdlib.h>
29 #include <string.h>
30 #include <time.h>
31
32 #include "MEM_guardedalloc.h"
33
34 #include "DNA_sequence_types.h"
35 #include "DNA_movieclip_types.h"
36 #include "DNA_mask_types.h"
37 #include "DNA_scene_types.h"
38 #include "DNA_anim_types.h"
39 #include "DNA_object_types.h"
40 #include "DNA_sound_types.h"
41
42 #include "BLI_math.h"
43 #include "BLI_fileops.h"
44 #include "BLI_listbase.h"
45 #include "BLI_linklist.h"
46 #include "BLI_path_util.h"
47 #include "BLI_string.h"
48 #include "BLI_string_utf8.h"
49 #include "BLI_threads.h"
50 #include "BLI_utildefines.h"
51
52 #ifdef WIN32
53 #  include "BLI_winstuff.h"
54 #else
55 #  include <unistd.h>
56 #endif
57
58 #include "BLT_translation.h"
59
60 #include "BKE_animsys.h"
61 #include "BKE_global.h"
62 #include "BKE_image.h"
63 #include "BKE_layer.h"
64 #include "BKE_main.h"
65 #include "BKE_sequencer.h"
66 #include "BKE_movieclip.h"
67 #include "BKE_fcurve.h"
68 #include "BKE_scene.h"
69 #include "BKE_mask.h"
70 #include "BKE_library.h"
71 #include "BKE_idprop.h"
72
73 #include "DEG_depsgraph.h"
74 #include "DEG_depsgraph_query.h"
75
76 #include "RNA_access.h"
77
78 #include "RE_pipeline.h"
79
80 #include <pthread.h>
81
82 #include "IMB_imbuf.h"
83 #include "IMB_imbuf_types.h"
84 #include "IMB_colormanagement.h"
85 #include "IMB_metadata.h"
86
87 #include "BKE_context.h"
88 #include "BKE_sound.h"
89
90 #include "RE_engine.h"
91
92 #ifdef WITH_AUDASPACE
93 #  include <AUD_Special.h>
94 #endif
95
96 /* mutable state for sequencer */
97 typedef struct SeqRenderState {
98   LinkNode *scene_parents;
99 } SeqRenderState;
100
101 static ImBuf *seq_render_strip_stack(const SeqRenderData *context,
102                                      SeqRenderState *state,
103                                      ListBase *seqbasep,
104                                      float cfra,
105                                      int chanshown);
106 static ImBuf *seq_render_strip(const SeqRenderData *context,
107                                SeqRenderState *state,
108                                Sequence *seq,
109                                float cfra);
110 static void seq_free_animdata(Scene *scene, Sequence *seq);
111 static ImBuf *seq_render_mask(const SeqRenderData *context, Mask *mask, float nr, bool make_float);
112 static int seq_num_files(Scene *scene, char views_format, const bool is_multiview);
113 static void seq_anim_add_suffix(Scene *scene, struct anim *anim, const int view_id);
114
115 /* **** XXX ******** */
116 #define SELECT 1
117 ListBase seqbase_clipboard;
118 int seqbase_clipboard_frame;
119 SequencerDrawView sequencer_view3d_cb = NULL; /* NULL in background mode */
120
121 #if 0 /* unused function */
122 static void printf_strip(Sequence *seq)
123 {
124   fprintf(stderr,
125           "name: '%s', len:%d, start:%d, (startofs:%d, endofs:%d), "
126           "(startstill:%d, endstill:%d), machine:%d, (startdisp:%d, enddisp:%d)\n",
127           seq->name,
128           seq->len,
129           seq->start,
130           seq->startofs,
131           seq->endofs,
132           seq->startstill,
133           seq->endstill,
134           seq->machine,
135           seq->startdisp,
136           seq->enddisp);
137
138   fprintf(stderr,
139           "\tseq_tx_set_final_left: %d %d\n\n",
140           seq_tx_get_final_left(seq, 0),
141           seq_tx_get_final_right(seq, 0));
142 }
143 #endif
144
145 static void sequencer_state_init(SeqRenderState *state)
146 {
147   state->scene_parents = NULL;
148 }
149
150 int BKE_sequencer_base_recursive_apply(ListBase *seqbase,
151                                        int (*apply_func)(Sequence *seq, void *),
152                                        void *arg)
153 {
154   Sequence *iseq;
155   for (iseq = seqbase->first; iseq; iseq = iseq->next) {
156     if (BKE_sequencer_recursive_apply(iseq, apply_func, arg) == -1) {
157       return -1; /* bail out */
158     }
159   }
160   return 1;
161 }
162
163 int BKE_sequencer_recursive_apply(Sequence *seq, int (*apply_func)(Sequence *, void *), void *arg)
164 {
165   int ret = apply_func(seq, arg);
166
167   if (ret == -1) {
168     return -1; /* bail out */
169   }
170
171   if (ret && seq->seqbase.first) {
172     ret = BKE_sequencer_base_recursive_apply(&seq->seqbase, apply_func, arg);
173   }
174
175   return ret;
176 }
177
178 /*********************** alloc / free functions *************************/
179
180 /* free */
181
182 static void free_proxy_seq(Sequence *seq)
183 {
184   if (seq->strip && seq->strip->proxy && seq->strip->proxy->anim) {
185     IMB_free_anim(seq->strip->proxy->anim);
186     seq->strip->proxy->anim = NULL;
187   }
188 }
189
190 static void seq_free_strip(Strip *strip)
191 {
192   strip->us--;
193   if (strip->us > 0) {
194     return;
195   }
196   if (strip->us < 0) {
197     printf("error: negative users in strip\n");
198     return;
199   }
200
201   if (strip->stripdata) {
202     MEM_freeN(strip->stripdata);
203   }
204
205   if (strip->proxy) {
206     if (strip->proxy->anim) {
207       IMB_free_anim(strip->proxy->anim);
208     }
209
210     MEM_freeN(strip->proxy);
211   }
212   if (strip->crop) {
213     MEM_freeN(strip->crop);
214   }
215   if (strip->transform) {
216     MEM_freeN(strip->transform);
217   }
218
219   MEM_freeN(strip);
220 }
221
222 /* only give option to skip cache locally (static func) */
223 static void BKE_sequence_free_ex(Scene *scene,
224                                  Sequence *seq,
225                                  const bool do_cache,
226                                  const bool do_id_user)
227 {
228   if (seq->strip) {
229     seq_free_strip(seq->strip);
230   }
231
232   BKE_sequence_free_anim(seq);
233
234   if (seq->type & SEQ_TYPE_EFFECT) {
235     struct SeqEffectHandle sh = BKE_sequence_get_effect(seq);
236     sh.free(seq, do_id_user);
237   }
238
239   if (seq->sound && do_id_user) {
240     id_us_min(((ID *)seq->sound));
241   }
242
243   if (seq->stereo3d_format) {
244     MEM_freeN(seq->stereo3d_format);
245   }
246
247   /* clipboard has no scene and will never have a sound handle or be active
248    * same goes to sequences copy for proxy rebuild job
249    */
250   if (scene) {
251     Editing *ed = scene->ed;
252
253     if (ed->act_seq == seq) {
254       ed->act_seq = NULL;
255     }
256
257     if (seq->scene_sound && ELEM(seq->type, SEQ_TYPE_SOUND_RAM, SEQ_TYPE_SCENE)) {
258       BKE_sound_remove_scene_sound(scene, seq->scene_sound);
259     }
260
261     seq_free_animdata(scene, seq);
262   }
263
264   if (seq->prop) {
265     IDP_FreePropertyContent_ex(seq->prop, do_id_user);
266     MEM_freeN(seq->prop);
267   }
268
269   /* free modifiers */
270   BKE_sequence_modifier_clear(seq);
271
272   /* free cached data used by this strip,
273    * also invalidate cache for all dependent sequences
274    *
275    * be _very_ careful here, invalidating cache loops over the scene sequences and
276    * assumes the listbase is valid for all strips,
277    * this may not be the case if lists are being freed.
278    * this is optional BKE_sequence_invalidate_cache
279    */
280   if (do_cache) {
281     if (scene) {
282       BKE_sequence_invalidate_cache(scene, seq);
283     }
284   }
285
286   MEM_freeN(seq);
287 }
288
289 void BKE_sequence_free(Scene *scene, Sequence *seq)
290 {
291   BKE_sequence_free_ex(scene, seq, true, true);
292 }
293
294 /* Function to free imbuf and anim data on changes */
295 void BKE_sequence_free_anim(Sequence *seq)
296 {
297   while (seq->anims.last) {
298     StripAnim *sanim = seq->anims.last;
299
300     if (sanim->anim) {
301       IMB_free_anim(sanim->anim);
302       sanim->anim = NULL;
303     }
304
305     BLI_freelinkN(&seq->anims, sanim);
306   }
307   BLI_listbase_clear(&seq->anims);
308 }
309
310 /* cache must be freed before calling this function
311  * since it leaves the seqbase in an invalid state */
312 static void seq_free_sequence_recurse(Scene *scene, Sequence *seq, const bool do_id_user)
313 {
314   Sequence *iseq, *iseq_next;
315
316   for (iseq = seq->seqbase.first; iseq; iseq = iseq_next) {
317     iseq_next = iseq->next;
318     seq_free_sequence_recurse(scene, iseq, do_id_user);
319   }
320
321   BKE_sequence_free_ex(scene, seq, false, do_id_user);
322 }
323
324 Editing *BKE_sequencer_editing_get(Scene *scene, bool alloc)
325 {
326   if (alloc) {
327     BKE_sequencer_editing_ensure(scene);
328   }
329   return scene->ed;
330 }
331
332 void BKE_sequencer_free_clipboard(void)
333 {
334   Sequence *seq, *nseq;
335
336   BKE_sequencer_base_clipboard_pointers_free(&seqbase_clipboard);
337
338   for (seq = seqbase_clipboard.first; seq; seq = nseq) {
339     nseq = seq->next;
340     seq_free_sequence_recurse(NULL, seq, false);
341   }
342   BLI_listbase_clear(&seqbase_clipboard);
343 }
344
345 /* -------------------------------------------------------------------- */
346 /* Manage pointers in the clipboard.
347  * note that these pointers should _never_ be access in the sequencer,
348  * they are only for storage while in the clipboard
349  * notice 'newid' is used for temp pointer storage here, validate on access (this is safe usage,
350  * since those datablocks are fully out of Main lists).
351  */
352 #define ID_PT (*id_pt)
353 static void seqclipboard_ptr_free(Main *UNUSED(bmain), ID **id_pt)
354 {
355   if (ID_PT) {
356     BLI_assert(ID_PT->newid != NULL);
357     MEM_freeN(ID_PT);
358     ID_PT = NULL;
359   }
360 }
361 static void seqclipboard_ptr_store(Main *UNUSED(bmain), ID **id_pt)
362 {
363   if (ID_PT) {
364     ID *id_prev = ID_PT;
365     ID_PT = MEM_dupallocN(ID_PT);
366     ID_PT->newid = id_prev;
367   }
368 }
369 static void seqclipboard_ptr_restore(Main *bmain, ID **id_pt)
370 {
371   if (ID_PT) {
372     const ListBase *lb = which_libbase(bmain, GS(ID_PT->name));
373     void *id_restore;
374
375     BLI_assert(ID_PT->newid != NULL);
376     if (BLI_findindex(lb, (ID_PT)->newid) != -1) {
377       /* the pointer is still valid */
378       id_restore = (ID_PT)->newid;
379     }
380     else {
381       /* the pointer of the same name still exists  */
382       id_restore = BLI_findstring(lb, (ID_PT)->name + 2, offsetof(ID, name) + 2);
383     }
384
385     if (id_restore == NULL) {
386       /* check for a data with the same filename */
387       switch (GS(ID_PT->name)) {
388         case ID_SO: {
389           id_restore = BLI_findstring(lb, ((bSound *)ID_PT)->name, offsetof(bSound, name));
390           if (id_restore == NULL) {
391             id_restore = BKE_sound_new_file(bmain, ((bSound *)ID_PT)->name);
392             (ID_PT)->newid = id_restore; /* reuse next time */
393           }
394           break;
395         }
396         case ID_MC: {
397           id_restore = BLI_findstring(lb, ((MovieClip *)ID_PT)->name, offsetof(MovieClip, name));
398           if (id_restore == NULL) {
399             id_restore = BKE_movieclip_file_add(bmain, ((MovieClip *)ID_PT)->name);
400             (ID_PT)->newid = id_restore; /* reuse next time */
401           }
402           break;
403         }
404         default:
405           break;
406       }
407     }
408
409     /* Replace with pointer to actual datablock. */
410     seqclipboard_ptr_free(bmain, id_pt);
411     ID_PT = id_restore;
412   }
413 }
414 #undef ID_PT
415
416 static void sequence_clipboard_pointers(Main *bmain,
417                                         Sequence *seq,
418                                         void (*callback)(Main *, ID **))
419 {
420   callback(bmain, (ID **)&seq->scene);
421   callback(bmain, (ID **)&seq->scene_camera);
422   callback(bmain, (ID **)&seq->clip);
423   callback(bmain, (ID **)&seq->mask);
424   callback(bmain, (ID **)&seq->sound);
425
426   if (seq->type == SEQ_TYPE_TEXT && seq->effectdata) {
427     TextVars *text_data = seq->effectdata;
428     callback(bmain, (ID **)&text_data->text_font);
429   }
430 }
431
432 /* recursive versions of functions above */
433 void BKE_sequencer_base_clipboard_pointers_free(ListBase *seqbase)
434 {
435   Sequence *seq;
436   for (seq = seqbase->first; seq; seq = seq->next) {
437     sequence_clipboard_pointers(NULL, seq, seqclipboard_ptr_free);
438     BKE_sequencer_base_clipboard_pointers_free(&seq->seqbase);
439   }
440 }
441 void BKE_sequencer_base_clipboard_pointers_store(Main *bmain, ListBase *seqbase)
442 {
443   Sequence *seq;
444   for (seq = seqbase->first; seq; seq = seq->next) {
445     sequence_clipboard_pointers(bmain, seq, seqclipboard_ptr_store);
446     BKE_sequencer_base_clipboard_pointers_store(bmain, &seq->seqbase);
447   }
448 }
449 void BKE_sequencer_base_clipboard_pointers_restore(ListBase *seqbase, Main *bmain)
450 {
451   Sequence *seq;
452   for (seq = seqbase->first; seq; seq = seq->next) {
453     sequence_clipboard_pointers(bmain, seq, seqclipboard_ptr_restore);
454     BKE_sequencer_base_clipboard_pointers_restore(&seq->seqbase, bmain);
455   }
456 }
457
458 /* end clipboard pointer mess */
459
460 Editing *BKE_sequencer_editing_ensure(Scene *scene)
461 {
462   if (scene->ed == NULL) {
463     Editing *ed;
464
465     ed = scene->ed = MEM_callocN(sizeof(Editing), "addseq");
466     ed->seqbasep = &ed->seqbase;
467     ed->cache = NULL;
468     ed->cache_flag = SEQ_CACHE_STORE_FINAL_OUT;
469     ed->cache_flag |= SEQ_CACHE_VIEW_FINAL_OUT;
470     ed->cache_flag |= SEQ_CACHE_VIEW_ENABLE;
471     ed->recycle_max_cost = 10.0f;
472   }
473
474   return scene->ed;
475 }
476
477 void BKE_sequencer_editing_free(Scene *scene, const bool do_id_user)
478 {
479   Editing *ed = scene->ed;
480   Sequence *seq;
481
482   if (ed == NULL) {
483     return;
484   }
485
486   BKE_sequencer_cache_destruct(scene);
487
488   SEQ_BEGIN (ed, seq) {
489     /* handle cache freeing above */
490     BKE_sequence_free_ex(scene, seq, false, do_id_user);
491   }
492   SEQ_END;
493
494   BLI_freelistN(&ed->metastack);
495
496   MEM_freeN(ed);
497
498   scene->ed = NULL;
499 }
500
501 /*********************** Sequencer color space functions  *************************/
502
503 static void sequencer_imbuf_assign_spaces(Scene *scene, ImBuf *ibuf)
504 {
505 #if 0
506   /* Bute buffer is supposed to be in sequencer working space already. */
507   if (ibuf->rect != NULL) {
508     IMB_colormanagement_assign_rect_colorspace(ibuf, scene->sequencer_colorspace_settings.name);
509   }
510 #endif
511   if (ibuf->rect_float != NULL) {
512     IMB_colormanagement_assign_float_colorspace(ibuf, scene->sequencer_colorspace_settings.name);
513   }
514 }
515
516 void BKE_sequencer_imbuf_to_sequencer_space(Scene *scene, ImBuf *ibuf, bool make_float)
517 {
518   /* Early output check: if both buffers are NULL we have nothing to convert. */
519   if (ibuf->rect_float == NULL && ibuf->rect == NULL) {
520     return;
521   }
522   /* Get common conversion settings. */
523   const char *to_colorspace = scene->sequencer_colorspace_settings.name;
524   /* Perform actual conversion logic. */
525   if (ibuf->rect_float == NULL) {
526     /* We are not requested to give float buffer and byte buffer is already
527      * in thee required colorspace. Can skip doing anything here.
528      */
529     const char *from_colorspace = IMB_colormanagement_get_rect_colorspace(ibuf);
530     if (!make_float && STREQ(from_colorspace, to_colorspace)) {
531       return;
532     }
533     if (false) {
534       /* The idea here is to provide as fast playback as possible and
535        * enforcing float buffer here (a) uses more cache memory (b) might
536        * make some other effects slower to apply.
537        *
538        * However, this might also have negative effect by adding weird
539        * artifacts which will then not happen in final render.
540        */
541       IMB_colormanagement_transform_byte_threaded((unsigned char *)ibuf->rect,
542                                                   ibuf->x,
543                                                   ibuf->y,
544                                                   ibuf->channels,
545                                                   from_colorspace,
546                                                   to_colorspace);
547     }
548     else {
549       /* We perform conversion to a float buffer so we don't worry about
550        * precision loss.
551        */
552       imb_addrectfloatImBuf(ibuf);
553       IMB_colormanagement_transform_from_byte_threaded(ibuf->rect_float,
554                                                        (unsigned char *)ibuf->rect,
555                                                        ibuf->x,
556                                                        ibuf->y,
557                                                        ibuf->channels,
558                                                        from_colorspace,
559                                                        to_colorspace);
560       /* We don't need byte buffer anymore. */
561       imb_freerectImBuf(ibuf);
562     }
563   }
564   else {
565     const char *from_colorspace = IMB_colormanagement_get_float_colorspace(ibuf);
566     /* Unknown input color space, can't perform conversion. */
567     if (from_colorspace == NULL || from_colorspace[0] == '\0') {
568       return;
569     }
570     /* We don't want both byte and float buffers around: they'll either run
571      * out of sync or conversion of byte buffer will loose precision in there.
572      */
573     if (ibuf->rect != NULL) {
574       imb_freerectImBuf(ibuf);
575     }
576     IMB_colormanagement_transform_threaded(
577         ibuf->rect_float, ibuf->x, ibuf->y, ibuf->channels, from_colorspace, to_colorspace, true);
578   }
579   sequencer_imbuf_assign_spaces(scene, ibuf);
580 }
581
582 void BKE_sequencer_imbuf_from_sequencer_space(Scene *scene, ImBuf *ibuf)
583 {
584   const char *from_colorspace = scene->sequencer_colorspace_settings.name;
585   const char *to_colorspace = IMB_colormanagement_role_colorspace_name_get(
586       COLOR_ROLE_SCENE_LINEAR);
587
588   if (!ibuf->rect_float) {
589     return;
590   }
591
592   if (to_colorspace && to_colorspace[0] != '\0') {
593     IMB_colormanagement_transform_threaded(
594         ibuf->rect_float, ibuf->x, ibuf->y, ibuf->channels, from_colorspace, to_colorspace, true);
595     IMB_colormanagement_assign_float_colorspace(ibuf, to_colorspace);
596   }
597 }
598
599 void BKE_sequencer_pixel_from_sequencer_space_v4(struct Scene *scene, float pixel[4])
600 {
601   const char *from_colorspace = scene->sequencer_colorspace_settings.name;
602   const char *to_colorspace = IMB_colormanagement_role_colorspace_name_get(
603       COLOR_ROLE_SCENE_LINEAR);
604
605   if (to_colorspace && to_colorspace[0] != '\0') {
606     IMB_colormanagement_transform_v4(pixel, from_colorspace, to_colorspace);
607   }
608   else {
609     /* if no color management enables fallback to legacy conversion */
610     srgb_to_linearrgb_v4(pixel, pixel);
611   }
612 }
613
614 /*********************** sequencer pipeline functions *************************/
615
616 void BKE_sequencer_new_render_data(Main *bmain,
617                                    struct Depsgraph *depsgraph,
618                                    Scene *scene,
619                                    int rectx,
620                                    int recty,
621                                    int preview_render_size,
622                                    int for_render,
623                                    SeqRenderData *r_context)
624 {
625   r_context->bmain = bmain;
626   r_context->depsgraph = depsgraph;
627   r_context->scene = scene;
628   r_context->rectx = rectx;
629   r_context->recty = recty;
630   r_context->preview_render_size = preview_render_size;
631   r_context->for_render = for_render;
632   r_context->motion_blur_samples = 0;
633   r_context->motion_blur_shutter = 0;
634   r_context->skip_cache = false;
635   r_context->is_proxy_render = false;
636   r_context->view_id = 0;
637   r_context->gpu_offscreen = NULL;
638 }
639
640 /* ************************* iterator ************************** */
641 /* *************** (replaces old WHILE_SEQ) ********************* */
642 /* **************** use now SEQ_BEGIN () SEQ_END ***************** */
643
644 /* sequence strip iterator:
645  * - builds a full array, recursively into meta strips
646  */
647
648 static void seq_count(ListBase *seqbase, int *tot)
649 {
650   Sequence *seq;
651
652   for (seq = seqbase->first; seq; seq = seq->next) {
653     (*tot)++;
654
655     if (seq->seqbase.first) {
656       seq_count(&seq->seqbase, tot);
657     }
658   }
659 }
660
661 static void seq_build_array(ListBase *seqbase, Sequence ***array, int depth)
662 {
663   Sequence *seq;
664
665   for (seq = seqbase->first; seq; seq = seq->next) {
666     seq->depth = depth;
667
668     if (seq->seqbase.first) {
669       seq_build_array(&seq->seqbase, array, depth + 1);
670     }
671
672     **array = seq;
673     (*array)++;
674   }
675 }
676
677 static void seq_array(Editing *ed, Sequence ***seqarray, int *tot, bool use_pointer)
678 {
679   Sequence **array;
680
681   *seqarray = NULL;
682   *tot = 0;
683
684   if (ed == NULL) {
685     return;
686   }
687
688   if (use_pointer) {
689     seq_count(ed->seqbasep, tot);
690   }
691   else {
692     seq_count(&ed->seqbase, tot);
693   }
694
695   if (*tot == 0) {
696     return;
697   }
698
699   *seqarray = array = MEM_mallocN(sizeof(Sequence *) * (*tot), "SeqArray");
700   if (use_pointer) {
701     seq_build_array(ed->seqbasep, &array, 0);
702   }
703   else {
704     seq_build_array(&ed->seqbase, &array, 0);
705   }
706 }
707
708 void BKE_sequence_iterator_begin(Editing *ed, SeqIterator *iter, bool use_pointer)
709 {
710   memset(iter, 0, sizeof(*iter));
711   seq_array(ed, &iter->array, &iter->tot, use_pointer);
712
713   if (iter->tot) {
714     iter->cur = 0;
715     iter->seq = iter->array[iter->cur];
716     iter->valid = 1;
717   }
718 }
719
720 void BKE_sequence_iterator_next(SeqIterator *iter)
721 {
722   if (++iter->cur < iter->tot) {
723     iter->seq = iter->array[iter->cur];
724   }
725   else {
726     iter->valid = 0;
727   }
728 }
729
730 void BKE_sequence_iterator_end(SeqIterator *iter)
731 {
732   if (iter->array) {
733     MEM_freeN(iter->array);
734   }
735
736   iter->valid = 0;
737 }
738
739 static int metaseq_start(Sequence *metaseq)
740 {
741   return metaseq->start + metaseq->startofs;
742 }
743
744 static int metaseq_end(Sequence *metaseq)
745 {
746   return metaseq->start + metaseq->len - metaseq->endofs;
747 }
748
749 static void seq_update_sound_bounds_recursive_rec(Scene *scene,
750                                                   Sequence *metaseq,
751                                                   int start,
752                                                   int end)
753 {
754   Sequence *seq;
755
756   /* for sound we go over full meta tree to update bounds of the sound strips,
757    * since sound is played outside of evaluating the imbufs, */
758   for (seq = metaseq->seqbase.first; seq; seq = seq->next) {
759     if (seq->type == SEQ_TYPE_META) {
760       seq_update_sound_bounds_recursive_rec(
761           scene, seq, max_ii(start, metaseq_start(seq)), min_ii(end, metaseq_end(seq)));
762     }
763     else if (ELEM(seq->type, SEQ_TYPE_SOUND_RAM, SEQ_TYPE_SCENE)) {
764       if (seq->scene_sound) {
765         int startofs = seq->startofs;
766         int endofs = seq->endofs;
767         if (seq->startofs + seq->start < start) {
768           startofs = start - seq->start;
769         }
770
771         if (seq->start + seq->len - seq->endofs > end) {
772           endofs = seq->start + seq->len - end;
773         }
774
775         BKE_sound_move_scene_sound(scene,
776                                    seq->scene_sound,
777                                    seq->start + startofs,
778                                    seq->start + seq->len - endofs,
779                                    startofs + seq->anim_startofs);
780       }
781     }
782   }
783 }
784
785 static void seq_update_sound_bounds_recursive(Scene *scene, Sequence *metaseq)
786 {
787   seq_update_sound_bounds_recursive_rec(
788       scene, metaseq, metaseq_start(metaseq), metaseq_end(metaseq));
789 }
790
791 void BKE_sequence_calc_disp(Scene *scene, Sequence *seq)
792 {
793   if (seq->startofs && seq->startstill) {
794     seq->startstill = 0;
795   }
796   if (seq->endofs && seq->endstill) {
797     seq->endstill = 0;
798   }
799
800   seq->startdisp = seq->start + seq->startofs - seq->startstill;
801   seq->enddisp = seq->start + seq->len - seq->endofs + seq->endstill;
802
803   seq->handsize = 10.0; /* 10 frames */
804   if (seq->enddisp - seq->startdisp < 10) {
805     seq->handsize = (float)(0.5 * (seq->enddisp - seq->startdisp));
806   }
807   else if (seq->enddisp - seq->startdisp > 250) {
808     seq->handsize = (float)((seq->enddisp - seq->startdisp) / 25);
809   }
810
811   if (ELEM(seq->type, SEQ_TYPE_SOUND_RAM, SEQ_TYPE_SCENE)) {
812     BKE_sequencer_update_sound_bounds(scene, seq);
813   }
814   else if (seq->type == SEQ_TYPE_META) {
815     seq_update_sound_bounds_recursive(scene, seq);
816   }
817 }
818
819 void BKE_sequence_calc(Scene *scene, Sequence *seq)
820 {
821   Sequence *seqm;
822   int min, max;
823
824   /* check all metas recursively */
825   seqm = seq->seqbase.first;
826   while (seqm) {
827     if (seqm->seqbase.first) {
828       BKE_sequence_calc(scene, seqm);
829     }
830     seqm = seqm->next;
831   }
832
833   /* effects and meta: automatic start and end */
834
835   if (seq->type & SEQ_TYPE_EFFECT) {
836     /* pointers */
837     if (seq->seq2 == NULL) {
838       seq->seq2 = seq->seq1;
839     }
840     if (seq->seq3 == NULL) {
841       seq->seq3 = seq->seq1;
842     }
843
844     /* effecten go from seq1 -> seq2: test */
845
846     /* we take the largest start and smallest end */
847
848     // seq->start = seq->startdisp = MAX2(seq->seq1->startdisp, seq->seq2->startdisp);
849     // seq->enddisp = MIN2(seq->seq1->enddisp, seq->seq2->enddisp);
850
851     if (seq->seq1) {
852       /* XXX These resets should not be necessary, but users used to be able to
853        *     edit effect's length, leading to strange results. See [#29190] */
854       seq->startofs = seq->endofs = seq->startstill = seq->endstill = 0;
855       seq->start = seq->startdisp = max_iii(
856           seq->seq1->startdisp, seq->seq2->startdisp, seq->seq3->startdisp);
857       seq->enddisp = min_iii(seq->seq1->enddisp, seq->seq2->enddisp, seq->seq3->enddisp);
858       /* we cant help if strips don't overlap, it wont give useful results.
859        * but at least ensure 'len' is never negative which causes bad bugs elsewhere. */
860       if (seq->enddisp < seq->startdisp) {
861         /* simple start/end swap */
862         seq->start = seq->enddisp;
863         seq->enddisp = seq->startdisp;
864         seq->startdisp = seq->start;
865         seq->flag |= SEQ_INVALID_EFFECT;
866       }
867       else {
868         seq->flag &= ~SEQ_INVALID_EFFECT;
869       }
870
871       seq->len = seq->enddisp - seq->startdisp;
872     }
873     else {
874       BKE_sequence_calc_disp(scene, seq);
875     }
876   }
877   else {
878     if (seq->type == SEQ_TYPE_META) {
879       seqm = seq->seqbase.first;
880       if (seqm) {
881         min = MAXFRAME * 2;
882         max = -MAXFRAME * 2;
883         while (seqm) {
884           if (seqm->startdisp < min) {
885             min = seqm->startdisp;
886           }
887           if (seqm->enddisp > max) {
888             max = seqm->enddisp;
889           }
890           seqm = seqm->next;
891         }
892         seq->start = min + seq->anim_startofs;
893         seq->len = max - min;
894         seq->len -= seq->anim_startofs;
895         seq->len -= seq->anim_endofs;
896       }
897       seq_update_sound_bounds_recursive(scene, seq);
898     }
899     BKE_sequence_calc_disp(scene, seq);
900   }
901 }
902
903 static void seq_multiview_name(Scene *scene,
904                                const int view_id,
905                                const char *prefix,
906                                const char *ext,
907                                char *r_path,
908                                size_t r_size)
909 {
910   const char *suffix = BKE_scene_multiview_view_id_suffix_get(&scene->r, view_id);
911   BLI_snprintf(r_path, r_size, "%s%s%s", prefix, suffix, ext);
912 }
913
914 /* note: caller should run BKE_sequence_calc(scene, seq) after */
915 void BKE_sequence_reload_new_file(Scene *scene, Sequence *seq, const bool lock_range)
916 {
917   char path[FILE_MAX];
918   int prev_startdisp = 0, prev_enddisp = 0;
919   /* note: don't rename the strip, will break animation curves */
920
921   if (ELEM(seq->type,
922            SEQ_TYPE_MOVIE,
923            SEQ_TYPE_IMAGE,
924            SEQ_TYPE_SOUND_RAM,
925            SEQ_TYPE_SCENE,
926            SEQ_TYPE_META,
927            SEQ_TYPE_MOVIECLIP,
928            SEQ_TYPE_MASK) == 0) {
929     return;
930   }
931
932   if (lock_range) {
933     /* keep so we don't have to move the actual start and end points (only the data) */
934     BKE_sequence_calc_disp(scene, seq);
935     prev_startdisp = seq->startdisp;
936     prev_enddisp = seq->enddisp;
937   }
938
939   switch (seq->type) {
940     case SEQ_TYPE_IMAGE: {
941       /* Hack? */
942       size_t olen = MEM_allocN_len(seq->strip->stripdata) / sizeof(StripElem);
943
944       seq->len = olen;
945       seq->len -= seq->anim_startofs;
946       seq->len -= seq->anim_endofs;
947       if (seq->len < 0) {
948         seq->len = 0;
949       }
950       break;
951     }
952     case SEQ_TYPE_MOVIE: {
953       StripAnim *sanim;
954       bool is_multiview_loaded = false;
955       const bool is_multiview = (seq->flag & SEQ_USE_VIEWS) != 0 &&
956                                 (scene->r.scemode & R_MULTIVIEW) != 0;
957
958       BLI_join_dirfile(path, sizeof(path), seq->strip->dir, seq->strip->stripdata->name);
959       BLI_path_abs(path, BKE_main_blendfile_path_from_global());
960
961       BKE_sequence_free_anim(seq);
962
963       if (is_multiview && (seq->views_format == R_IMF_VIEWS_INDIVIDUAL)) {
964         char prefix[FILE_MAX];
965         const char *ext = NULL;
966         const int totfiles = seq_num_files(scene, seq->views_format, true);
967         int i = 0;
968
969         BKE_scene_multiview_view_prefix_get(scene, path, prefix, &ext);
970
971         if (prefix[0] != '\0') {
972           for (i = 0; i < totfiles; i++) {
973             struct anim *anim;
974             char str[FILE_MAX];
975
976             seq_multiview_name(scene, i, prefix, ext, str, FILE_MAX);
977             anim = openanim(str,
978                             IB_rect | ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
979                             seq->streamindex,
980                             seq->strip->colorspace_settings.name);
981
982             if (anim) {
983               seq_anim_add_suffix(scene, anim, i);
984               sanim = MEM_mallocN(sizeof(StripAnim), "Strip Anim");
985               BLI_addtail(&seq->anims, sanim);
986               sanim->anim = anim;
987             }
988           }
989           is_multiview_loaded = true;
990         }
991       }
992
993       if (is_multiview_loaded == false) {
994         struct anim *anim;
995         anim = openanim(path,
996                         IB_rect | ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
997                         seq->streamindex,
998                         seq->strip->colorspace_settings.name);
999         if (anim) {
1000           sanim = MEM_mallocN(sizeof(StripAnim), "Strip Anim");
1001           BLI_addtail(&seq->anims, sanim);
1002           sanim->anim = anim;
1003         }
1004       }
1005
1006       /* use the first video as reference for everything */
1007       sanim = seq->anims.first;
1008
1009       if ((!sanim) || (!sanim->anim)) {
1010         return;
1011       }
1012
1013       IMB_anim_load_metadata(sanim->anim);
1014
1015       seq->len = IMB_anim_get_duration(
1016           sanim->anim, seq->strip->proxy ? seq->strip->proxy->tc : IMB_TC_RECORD_RUN);
1017
1018       seq->anim_preseek = IMB_anim_get_preseek(sanim->anim);
1019
1020       seq->len -= seq->anim_startofs;
1021       seq->len -= seq->anim_endofs;
1022       if (seq->len < 0) {
1023         seq->len = 0;
1024       }
1025       break;
1026     }
1027     case SEQ_TYPE_MOVIECLIP:
1028       if (seq->clip == NULL) {
1029         return;
1030       }
1031
1032       seq->len = BKE_movieclip_get_duration(seq->clip);
1033
1034       seq->len -= seq->anim_startofs;
1035       seq->len -= seq->anim_endofs;
1036       if (seq->len < 0) {
1037         seq->len = 0;
1038       }
1039       break;
1040     case SEQ_TYPE_MASK:
1041       if (seq->mask == NULL) {
1042         return;
1043       }
1044       seq->len = BKE_mask_get_duration(seq->mask);
1045       seq->len -= seq->anim_startofs;
1046       seq->len -= seq->anim_endofs;
1047       if (seq->len < 0) {
1048         seq->len = 0;
1049       }
1050       break;
1051     case SEQ_TYPE_SOUND_RAM:
1052 #ifdef WITH_AUDASPACE
1053       if (!seq->sound) {
1054         return;
1055       }
1056       seq->len = ceil((double)AUD_getInfo(seq->sound->playback_handle).length * FPS);
1057       seq->len -= seq->anim_startofs;
1058       seq->len -= seq->anim_endofs;
1059       if (seq->len < 0) {
1060         seq->len = 0;
1061       }
1062 #else
1063       return;
1064 #endif
1065       break;
1066     case SEQ_TYPE_SCENE: {
1067       seq->len = (seq->scene) ? seq->scene->r.efra - seq->scene->r.sfra + 1 : 0;
1068       seq->len -= seq->anim_startofs;
1069       seq->len -= seq->anim_endofs;
1070       if (seq->len < 0) {
1071         seq->len = 0;
1072       }
1073       break;
1074     }
1075   }
1076
1077   free_proxy_seq(seq);
1078
1079   if (lock_range) {
1080     BKE_sequence_tx_set_final_left(seq, prev_startdisp);
1081     BKE_sequence_tx_set_final_right(seq, prev_enddisp);
1082     BKE_sequence_single_fix(seq);
1083   }
1084
1085   BKE_sequence_calc(scene, seq);
1086 }
1087
1088 void BKE_sequencer_sort(Scene *scene)
1089 {
1090   /* all strips together per kind, and in order of y location ("machine") */
1091   ListBase seqbase, effbase;
1092   Editing *ed = BKE_sequencer_editing_get(scene, false);
1093   Sequence *seq, *seqt;
1094
1095   if (ed == NULL) {
1096     return;
1097   }
1098
1099   BLI_listbase_clear(&seqbase);
1100   BLI_listbase_clear(&effbase);
1101
1102   while ((seq = BLI_pophead(ed->seqbasep))) {
1103
1104     if (seq->type & SEQ_TYPE_EFFECT) {
1105       seqt = effbase.first;
1106       while (seqt) {
1107         if (seqt->machine >= seq->machine) {
1108           BLI_insertlinkbefore(&effbase, seqt, seq);
1109           break;
1110         }
1111         seqt = seqt->next;
1112       }
1113       if (seqt == NULL) {
1114         BLI_addtail(&effbase, seq);
1115       }
1116     }
1117     else {
1118       seqt = seqbase.first;
1119       while (seqt) {
1120         if (seqt->machine >= seq->machine) {
1121           BLI_insertlinkbefore(&seqbase, seqt, seq);
1122           break;
1123         }
1124         seqt = seqt->next;
1125       }
1126       if (seqt == NULL) {
1127         BLI_addtail(&seqbase, seq);
1128       }
1129     }
1130   }
1131
1132   BLI_movelisttolist(&seqbase, &effbase);
1133   *(ed->seqbasep) = seqbase;
1134 }
1135
1136 /** Comparison function suitable to be used with BLI_listbase_sort()... */
1137 int BKE_sequencer_cmp_time_startdisp(const void *a, const void *b)
1138 {
1139   const Sequence *seq_a = a;
1140   const Sequence *seq_b = b;
1141
1142   return (seq_a->startdisp > seq_b->startdisp);
1143 }
1144
1145 static int clear_scene_in_allseqs_cb(Sequence *seq, void *arg_pt)
1146 {
1147   if (seq->scene == (Scene *)arg_pt) {
1148     seq->scene = NULL;
1149   }
1150   return 1;
1151 }
1152
1153 void BKE_sequencer_clear_scene_in_allseqs(Main *bmain, Scene *scene)
1154 {
1155   Scene *scene_iter;
1156
1157   /* when a scene is deleted: test all seqs */
1158   for (scene_iter = bmain->scenes.first; scene_iter; scene_iter = scene_iter->id.next) {
1159     if (scene_iter != scene && scene_iter->ed) {
1160       BKE_sequencer_base_recursive_apply(
1161           &scene_iter->ed->seqbase, clear_scene_in_allseqs_cb, scene);
1162     }
1163   }
1164 }
1165
1166 typedef struct SeqUniqueInfo {
1167   Sequence *seq;
1168   char name_src[SEQ_NAME_MAXSTR];
1169   char name_dest[SEQ_NAME_MAXSTR];
1170   int count;
1171   int match;
1172 } SeqUniqueInfo;
1173
1174 static void seqbase_unique_name(ListBase *seqbasep, SeqUniqueInfo *sui)
1175 {
1176   Sequence *seq;
1177   for (seq = seqbasep->first; seq; seq = seq->next) {
1178     if ((sui->seq != seq) && STREQ(sui->name_dest, seq->name + 2)) {
1179       /* SEQ_NAME_MAXSTR -4 for the number, -1 for \0, - 2 for prefix */
1180       BLI_snprintf(sui->name_dest,
1181                    sizeof(sui->name_dest),
1182                    "%.*s.%03d",
1183                    SEQ_NAME_MAXSTR - 4 - 1 - 2,
1184                    sui->name_src,
1185                    sui->count++);
1186       sui->match = 1; /* be sure to re-scan */
1187     }
1188   }
1189 }
1190
1191 static int seqbase_unique_name_recursive_cb(Sequence *seq, void *arg_pt)
1192 {
1193   if (seq->seqbase.first) {
1194     seqbase_unique_name(&seq->seqbase, (SeqUniqueInfo *)arg_pt);
1195   }
1196   return 1;
1197 }
1198
1199 void BKE_sequence_base_unique_name_recursive(ListBase *seqbasep, Sequence *seq)
1200 {
1201   SeqUniqueInfo sui;
1202   char *dot;
1203   sui.seq = seq;
1204   BLI_strncpy(sui.name_src, seq->name + 2, sizeof(sui.name_src));
1205   BLI_strncpy(sui.name_dest, seq->name + 2, sizeof(sui.name_dest));
1206
1207   sui.count = 1;
1208   sui.match = 1; /* assume the worst to start the loop */
1209
1210   /* Strip off the suffix */
1211   if ((dot = strrchr(sui.name_src, '.'))) {
1212     *dot = '\0';
1213     dot++;
1214
1215     if (*dot) {
1216       sui.count = atoi(dot) + 1;
1217     }
1218   }
1219
1220   while (sui.match) {
1221     sui.match = 0;
1222     seqbase_unique_name(seqbasep, &sui);
1223     BKE_sequencer_base_recursive_apply(seqbasep, seqbase_unique_name_recursive_cb, &sui);
1224   }
1225
1226   BLI_strncpy(seq->name + 2, sui.name_dest, sizeof(seq->name) - 2);
1227 }
1228
1229 static const char *give_seqname_by_type(int type)
1230 {
1231   switch (type) {
1232     case SEQ_TYPE_META:
1233       return "Meta";
1234     case SEQ_TYPE_IMAGE:
1235       return "Image";
1236     case SEQ_TYPE_SCENE:
1237       return "Scene";
1238     case SEQ_TYPE_MOVIE:
1239       return "Movie";
1240     case SEQ_TYPE_MOVIECLIP:
1241       return "Clip";
1242     case SEQ_TYPE_MASK:
1243       return "Mask";
1244     case SEQ_TYPE_SOUND_RAM:
1245       return "Audio";
1246     case SEQ_TYPE_CROSS:
1247       return "Cross";
1248     case SEQ_TYPE_GAMCROSS:
1249       return "Gamma Cross";
1250     case SEQ_TYPE_ADD:
1251       return "Add";
1252     case SEQ_TYPE_SUB:
1253       return "Sub";
1254     case SEQ_TYPE_MUL:
1255       return "Mul";
1256     case SEQ_TYPE_ALPHAOVER:
1257       return "Alpha Over";
1258     case SEQ_TYPE_ALPHAUNDER:
1259       return "Alpha Under";
1260     case SEQ_TYPE_OVERDROP:
1261       return "Over Drop";
1262     case SEQ_TYPE_COLORMIX:
1263       return "Color Mix";
1264     case SEQ_TYPE_WIPE:
1265       return "Wipe";
1266     case SEQ_TYPE_GLOW:
1267       return "Glow";
1268     case SEQ_TYPE_TRANSFORM:
1269       return "Transform";
1270     case SEQ_TYPE_COLOR:
1271       return "Color";
1272     case SEQ_TYPE_MULTICAM:
1273       return "Multicam";
1274     case SEQ_TYPE_ADJUSTMENT:
1275       return "Adjustment";
1276     case SEQ_TYPE_SPEED:
1277       return "Speed";
1278     case SEQ_TYPE_GAUSSIAN_BLUR:
1279       return "Gaussian Blur";
1280     case SEQ_TYPE_TEXT:
1281       return "Text";
1282     default:
1283       return NULL;
1284   }
1285 }
1286
1287 const char *BKE_sequence_give_name(Sequence *seq)
1288 {
1289   const char *name = give_seqname_by_type(seq->type);
1290
1291   if (!name) {
1292     if (!(seq->type & SEQ_TYPE_EFFECT)) {
1293       return seq->strip->dir;
1294     }
1295     else {
1296       return "Effect";
1297     }
1298   }
1299   return name;
1300 }
1301
1302 ListBase *BKE_sequence_seqbase_get(Sequence *seq, int *r_offset)
1303 {
1304   ListBase *seqbase = NULL;
1305
1306   switch (seq->type) {
1307     case SEQ_TYPE_META: {
1308       seqbase = &seq->seqbase;
1309       *r_offset = seq->start;
1310       break;
1311     }
1312     case SEQ_TYPE_SCENE: {
1313       if (seq->flag & SEQ_SCENE_STRIPS && seq->scene) {
1314         Editing *ed = BKE_sequencer_editing_get(seq->scene, false);
1315         if (ed) {
1316           seqbase = &ed->seqbase;
1317           *r_offset = seq->scene->r.sfra;
1318         }
1319       }
1320       break;
1321     }
1322   }
1323
1324   return seqbase;
1325 }
1326
1327 /*********************** DO THE SEQUENCE *************************/
1328
1329 static void make_black_ibuf(ImBuf *ibuf)
1330 {
1331   unsigned int *rect;
1332   float *rect_float;
1333   int tot;
1334
1335   if (ibuf == NULL || (ibuf->rect == NULL && ibuf->rect_float == NULL)) {
1336     return;
1337   }
1338
1339   tot = ibuf->x * ibuf->y;
1340
1341   rect = ibuf->rect;
1342   rect_float = ibuf->rect_float;
1343
1344   if (rect) {
1345     memset(rect, 0, tot * sizeof(char) * 4);
1346   }
1347
1348   if (rect_float) {
1349     memset(rect_float, 0, tot * sizeof(float) * 4);
1350   }
1351 }
1352
1353 static void multibuf(ImBuf *ibuf, const float fmul)
1354 {
1355   char *rt;
1356   float *rt_float;
1357
1358   int a;
1359
1360   rt = (char *)ibuf->rect;
1361   rt_float = ibuf->rect_float;
1362
1363   if (rt) {
1364     const int imul = (int)(256.0f * fmul);
1365     a = ibuf->x * ibuf->y;
1366     while (a--) {
1367       rt[0] = min_ii((imul * rt[0]) >> 8, 255);
1368       rt[1] = min_ii((imul * rt[1]) >> 8, 255);
1369       rt[2] = min_ii((imul * rt[2]) >> 8, 255);
1370       rt[3] = min_ii((imul * rt[3]) >> 8, 255);
1371
1372       rt += 4;
1373     }
1374   }
1375   if (rt_float) {
1376     a = ibuf->x * ibuf->y;
1377     while (a--) {
1378       rt_float[0] *= fmul;
1379       rt_float[1] *= fmul;
1380       rt_float[2] *= fmul;
1381       rt_float[3] *= fmul;
1382
1383       rt_float += 4;
1384     }
1385   }
1386 }
1387
1388 static float give_stripelem_index(Sequence *seq, float cfra)
1389 {
1390   float nr;
1391   int sta = seq->start;
1392   int end = seq->start + seq->len - 1;
1393
1394   if (seq->type & SEQ_TYPE_EFFECT) {
1395     end = seq->enddisp;
1396   }
1397
1398   if (end < sta) {
1399     return -1;
1400   }
1401
1402   if (seq->flag & SEQ_REVERSE_FRAMES) {
1403     /*reverse frame in this sequence */
1404     if (cfra <= sta) {
1405       nr = end - sta;
1406     }
1407     else if (cfra >= end) {
1408       nr = 0;
1409     }
1410     else {
1411       nr = end - cfra;
1412     }
1413   }
1414   else {
1415     if (cfra <= sta) {
1416       nr = 0;
1417     }
1418     else if (cfra >= end) {
1419       nr = end - sta;
1420     }
1421     else {
1422       nr = cfra - sta;
1423     }
1424   }
1425
1426   if (seq->strobe < 1.0f) {
1427     seq->strobe = 1.0f;
1428   }
1429
1430   if (seq->strobe > 1.0f) {
1431     nr -= fmodf((double)nr, (double)seq->strobe);
1432   }
1433
1434   return nr;
1435 }
1436
1437 StripElem *BKE_sequencer_give_stripelem(Sequence *seq, int cfra)
1438 {
1439   StripElem *se = seq->strip->stripdata;
1440
1441   if (seq->type == SEQ_TYPE_IMAGE) {
1442     /* only IMAGE strips use the whole array, MOVIE strips use only the first element,
1443      * all other strips don't use this...
1444      */
1445
1446     int nr = (int)give_stripelem_index(seq, cfra);
1447
1448     if (nr == -1 || se == NULL) {
1449       return NULL;
1450     }
1451
1452     se += nr + seq->anim_startofs;
1453   }
1454   return se;
1455 }
1456
1457 static int evaluate_seq_frame_gen(Sequence **seq_arr, ListBase *seqbase, int cfra, int chanshown)
1458 {
1459   /* Use arbitrary sized linked list, the size could be over MAXSEQ. */
1460   LinkNodePair effect_inputs = {NULL, NULL};
1461   int totseq = 0;
1462
1463   memset(seq_arr, 0, sizeof(Sequence *) * (MAXSEQ + 1));
1464
1465   for (Sequence *seq = seqbase->first; seq; seq = seq->next) {
1466     if ((seq->startdisp <= cfra) && (seq->enddisp > cfra)) {
1467       if ((seq->type & SEQ_TYPE_EFFECT) && !(seq->flag & SEQ_MUTE)) {
1468
1469         if (seq->seq1) {
1470           BLI_linklist_append_alloca(&effect_inputs, seq->seq1);
1471         }
1472
1473         if (seq->seq2) {
1474           BLI_linklist_append_alloca(&effect_inputs, seq->seq2);
1475         }
1476
1477         if (seq->seq3) {
1478           BLI_linklist_append_alloca(&effect_inputs, seq->seq3);
1479         }
1480       }
1481
1482       seq_arr[seq->machine] = seq;
1483       totseq++;
1484     }
1485   }
1486
1487   /* Drop strips which are used for effect inputs, we don't want
1488    * them to blend into render stack in any other way than effect
1489    * string rendering.
1490    */
1491   for (LinkNode *seq_item = effect_inputs.list; seq_item; seq_item = seq_item->next) {
1492     Sequence *seq = seq_item->link;
1493     /* It's possible that effetc strip would be placed to the same
1494      * 'machine' as it's inputs. We don't want to clear such strips
1495      * from the stack.
1496      */
1497     if (seq_arr[seq->machine] && seq_arr[seq->machine]->type & SEQ_TYPE_EFFECT) {
1498       continue;
1499     }
1500     /* If we're shown a specified channel, then we want to see the stirps
1501      * which belongs to this machine.
1502      */
1503     if (chanshown != 0 && chanshown <= seq->machine) {
1504       continue;
1505     }
1506     seq_arr[seq->machine] = NULL;
1507   }
1508
1509   return totseq;
1510 }
1511
1512 int BKE_sequencer_evaluate_frame(Scene *scene, int cfra)
1513 {
1514   Editing *ed = BKE_sequencer_editing_get(scene, false);
1515   Sequence *seq_arr[MAXSEQ + 1];
1516
1517   if (ed == NULL) {
1518     return 0;
1519   }
1520
1521   return evaluate_seq_frame_gen(seq_arr, ed->seqbasep, cfra, 0);
1522 }
1523
1524 static bool video_seq_is_rendered(Sequence *seq)
1525 {
1526   return (seq && !(seq->flag & SEQ_MUTE) && seq->type != SEQ_TYPE_SOUND_RAM);
1527 }
1528
1529 static int get_shown_sequences(ListBase *seqbasep, int cfra, int chanshown, Sequence **seq_arr_out)
1530 {
1531   Sequence *seq_arr[MAXSEQ + 1];
1532   int b = chanshown;
1533   int cnt = 0;
1534
1535   if (b > MAXSEQ) {
1536     return 0;
1537   }
1538
1539   if (evaluate_seq_frame_gen(seq_arr, seqbasep, cfra, chanshown)) {
1540     if (b == 0) {
1541       b = MAXSEQ;
1542     }
1543     for (; b > 0; b--) {
1544       if (video_seq_is_rendered(seq_arr[b])) {
1545         break;
1546       }
1547     }
1548   }
1549
1550   chanshown = b;
1551
1552   for (; b > 0; b--) {
1553     if (video_seq_is_rendered(seq_arr[b])) {
1554       if (seq_arr[b]->blend_mode == SEQ_BLEND_REPLACE) {
1555         break;
1556       }
1557     }
1558   }
1559
1560   for (; b <= chanshown && b >= 0; b++) {
1561     if (video_seq_is_rendered(seq_arr[b])) {
1562       seq_arr_out[cnt++] = seq_arr[b];
1563     }
1564   }
1565
1566   return cnt;
1567 }
1568
1569 /*********************** proxy management *************************/
1570
1571 typedef struct SeqIndexBuildContext {
1572   struct IndexBuildContext *index_context;
1573
1574   int tc_flags;
1575   int size_flags;
1576   int quality;
1577   bool overwrite;
1578   int view_id;
1579
1580   Main *bmain;
1581   Depsgraph *depsgraph;
1582   Scene *scene;
1583   Sequence *seq, *orig_seq;
1584 } SeqIndexBuildContext;
1585
1586 #define PROXY_MAXFILE (2 * FILE_MAXDIR + FILE_MAXFILE)
1587
1588 static IMB_Proxy_Size seq_rendersize_to_proxysize(int size)
1589 {
1590   if (size >= 100) {
1591     return IMB_PROXY_NONE;
1592   }
1593   if (size >= 99) {
1594     return IMB_PROXY_100;
1595   }
1596   if (size >= 75) {
1597     return IMB_PROXY_75;
1598   }
1599   if (size >= 50) {
1600     return IMB_PROXY_50;
1601   }
1602   return IMB_PROXY_25;
1603 }
1604
1605 static double seq_rendersize_to_scale_factor(int size)
1606 {
1607   if (size >= 99) {
1608     return 1.0;
1609   }
1610   if (size >= 75) {
1611     return 0.75;
1612   }
1613   if (size >= 50) {
1614     return 0.50;
1615   }
1616   return 0.25;
1617 }
1618
1619 /* the number of files will vary according to the stereo format */
1620 static int seq_num_files(Scene *scene, char views_format, const bool is_multiview)
1621 {
1622   if (!is_multiview) {
1623     return 1;
1624   }
1625   else if (views_format == R_IMF_VIEWS_STEREO_3D) {
1626     return 1;
1627   }
1628   /* R_IMF_VIEWS_INDIVIDUAL */
1629   else {
1630     return BKE_scene_multiview_num_views_get(&scene->r);
1631   }
1632 }
1633
1634 static void seq_proxy_index_dir_set(struct anim *anim, const char *base_dir)
1635 {
1636   char dir[FILE_MAX];
1637   char fname[FILE_MAXFILE];
1638
1639   IMB_anim_get_fname(anim, fname, FILE_MAXFILE);
1640   BLI_strncpy(dir, base_dir, sizeof(dir));
1641   BLI_path_append(dir, sizeof(dir), fname);
1642   IMB_anim_set_index_dir(anim, dir);
1643 }
1644
1645 static void seq_open_anim_file(Scene *scene, Sequence *seq, bool openfile)
1646 {
1647   char dir[FILE_MAX];
1648   char name[FILE_MAX];
1649   StripProxy *proxy;
1650   bool use_proxy;
1651   bool is_multiview_loaded = false;
1652   Editing *ed = scene->ed;
1653   const bool is_multiview = (seq->flag & SEQ_USE_VIEWS) != 0 &&
1654                             (scene->r.scemode & R_MULTIVIEW) != 0;
1655
1656   if ((seq->anims.first != NULL) && (((StripAnim *)seq->anims.first)->anim != NULL)) {
1657     return;
1658   }
1659
1660   /* reset all the previously created anims */
1661   BKE_sequence_free_anim(seq);
1662
1663   BLI_join_dirfile(name, sizeof(name), seq->strip->dir, seq->strip->stripdata->name);
1664   BLI_path_abs(name, BKE_main_blendfile_path_from_global());
1665
1666   proxy = seq->strip->proxy;
1667
1668   use_proxy = proxy && ((proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_DIR) != 0 ||
1669                         (ed->proxy_storage == SEQ_EDIT_PROXY_DIR_STORAGE));
1670
1671   if (use_proxy) {
1672     if (ed->proxy_storage == SEQ_EDIT_PROXY_DIR_STORAGE) {
1673       if (ed->proxy_dir[0] == 0) {
1674         BLI_strncpy(dir, "//BL_proxy", sizeof(dir));
1675       }
1676       else {
1677         BLI_strncpy(dir, ed->proxy_dir, sizeof(dir));
1678       }
1679     }
1680     else {
1681       BLI_strncpy(dir, seq->strip->proxy->dir, sizeof(dir));
1682     }
1683     BLI_path_abs(dir, BKE_main_blendfile_path_from_global());
1684   }
1685
1686   if (is_multiview && seq->views_format == R_IMF_VIEWS_INDIVIDUAL) {
1687     int totfiles = seq_num_files(scene, seq->views_format, true);
1688     char prefix[FILE_MAX];
1689     const char *ext = NULL;
1690     int i;
1691
1692     BKE_scene_multiview_view_prefix_get(scene, name, prefix, &ext);
1693
1694     if (prefix[0] != '\0') {
1695       for (i = 0; i < totfiles; i++) {
1696         const char *suffix = BKE_scene_multiview_view_id_suffix_get(&scene->r, i);
1697         char str[FILE_MAX];
1698         StripAnim *sanim = MEM_mallocN(sizeof(StripAnim), "Strip Anim");
1699
1700         BLI_addtail(&seq->anims, sanim);
1701
1702         BLI_snprintf(str, sizeof(str), "%s%s%s", prefix, suffix, ext);
1703
1704         if (openfile) {
1705           sanim->anim = openanim(str,
1706                                  IB_rect | ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
1707                                  seq->streamindex,
1708                                  seq->strip->colorspace_settings.name);
1709         }
1710         else {
1711           sanim->anim = openanim_noload(str,
1712                                         IB_rect |
1713                                             ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
1714                                         seq->streamindex,
1715                                         seq->strip->colorspace_settings.name);
1716         }
1717
1718         if (sanim->anim) {
1719           /* we already have the suffix */
1720           IMB_suffix_anim(sanim->anim, suffix);
1721         }
1722         else {
1723           if (openfile) {
1724             sanim->anim = openanim(name,
1725                                    IB_rect | ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
1726                                    seq->streamindex,
1727                                    seq->strip->colorspace_settings.name);
1728           }
1729           else {
1730             sanim->anim = openanim_noload(name,
1731                                           IB_rect |
1732                                               ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
1733                                           seq->streamindex,
1734                                           seq->strip->colorspace_settings.name);
1735           }
1736
1737           /* no individual view files - monoscopic, stereo 3d or exr multiview */
1738           totfiles = 1;
1739         }
1740
1741         if (sanim->anim && use_proxy) {
1742           seq_proxy_index_dir_set(sanim->anim, dir);
1743         }
1744       }
1745       is_multiview_loaded = true;
1746     }
1747   }
1748
1749   if (is_multiview_loaded == false) {
1750     StripAnim *sanim;
1751
1752     sanim = MEM_mallocN(sizeof(StripAnim), "Strip Anim");
1753     BLI_addtail(&seq->anims, sanim);
1754
1755     if (openfile) {
1756       sanim->anim = openanim(name,
1757                              IB_rect | ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
1758                              seq->streamindex,
1759                              seq->strip->colorspace_settings.name);
1760     }
1761     else {
1762       sanim->anim = openanim_noload(name,
1763                                     IB_rect | ((seq->flag & SEQ_FILTERY) ? IB_animdeinterlace : 0),
1764                                     seq->streamindex,
1765                                     seq->strip->colorspace_settings.name);
1766     }
1767
1768     if (sanim->anim && use_proxy) {
1769       seq_proxy_index_dir_set(sanim->anim, dir);
1770     }
1771   }
1772 }
1773
1774 static bool seq_proxy_get_fname(
1775     Editing *ed, Sequence *seq, int cfra, int render_size, char *name, const int view_id)
1776 {
1777   int frameno;
1778   char dir[PROXY_MAXFILE];
1779   StripAnim *sanim;
1780   char suffix[24] = {'\0'};
1781
1782   StripProxy *proxy = seq->strip->proxy;
1783   if (!proxy) {
1784     return false;
1785   }
1786
1787   /* MOVIE tracks (only exception: custom files) are now handled
1788    * internally by ImBuf module for various reasons: proper time code
1789    * support, quicker index build, using one file instead
1790    * of a full directory of jpeg files, etc. Trying to support old
1791    * and new method at once could lead to funny effects, if people
1792    * have both, a directory full of jpeg files and proxy avis, so
1793    * sorry folks, please rebuild your proxies... */
1794
1795   sanim = BLI_findlink(&seq->anims, view_id);
1796
1797   if (ed->proxy_storage == SEQ_EDIT_PROXY_DIR_STORAGE) {
1798     char fname[FILE_MAXFILE];
1799     if (ed->proxy_dir[0] == 0) {
1800       BLI_strncpy(dir, "//BL_proxy", sizeof(dir));
1801     }
1802     else {
1803       BLI_strncpy(dir, ed->proxy_dir, sizeof(dir));
1804     }
1805
1806     if (sanim && sanim->anim) {
1807       IMB_anim_get_fname(sanim->anim, fname, FILE_MAXFILE);
1808     }
1809     else if (seq->type == SEQ_TYPE_IMAGE) {
1810       fname[0] = 0;
1811     }
1812     else {
1813       /* We could make a name here, except non-movie's don't generate proxies,
1814        * cancel until other types of sequence strips are supported. */
1815       return false;
1816     }
1817     BLI_path_append(dir, sizeof(dir), fname);
1818     BLI_path_abs(name, BKE_main_blendfile_path_from_global());
1819   }
1820   else if ((proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_DIR) &&
1821            (proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_FILE)) {
1822     BLI_strncpy(dir, seq->strip->proxy->dir, sizeof(dir));
1823   }
1824   else if (proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_FILE) {
1825     BLI_strncpy(dir, seq->strip->proxy->dir, sizeof(dir));
1826   }
1827   else if (sanim && sanim->anim && (proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_DIR)) {
1828     char fname[FILE_MAXFILE];
1829     BLI_strncpy(dir, seq->strip->proxy->dir, sizeof(dir));
1830     IMB_anim_get_fname(sanim->anim, fname, FILE_MAXFILE);
1831     BLI_path_append(dir, sizeof(dir), fname);
1832   }
1833   else if (seq->type == SEQ_TYPE_IMAGE) {
1834     if (proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_DIR) {
1835       BLI_strncpy(dir, seq->strip->proxy->dir, sizeof(dir));
1836     }
1837     else {
1838       BLI_snprintf(dir, PROXY_MAXFILE, "%s/BL_proxy", seq->strip->dir);
1839     }
1840   }
1841   else {
1842     return false;
1843   }
1844
1845   if (view_id > 0) {
1846     BLI_snprintf(suffix, sizeof(suffix), "_%d", view_id);
1847   }
1848
1849   if (proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_FILE &&
1850       ed->proxy_storage != SEQ_EDIT_PROXY_DIR_STORAGE) {
1851     char fname[FILE_MAXFILE];
1852     BLI_join_dirfile(fname, PROXY_MAXFILE, dir, proxy->file);
1853     BLI_path_abs(fname, BKE_main_blendfile_path_from_global());
1854     if (suffix[0] != '\0') {
1855       /* TODO(sergey): This will actually append suffix after extension
1856        * which is weird but how was originally coded in multiview branch.
1857        */
1858       BLI_snprintf(name, PROXY_MAXFILE, "%s_%s", fname, suffix);
1859     }
1860     else {
1861       BLI_strncpy(name, fname, PROXY_MAXFILE);
1862     }
1863
1864     return true;
1865   }
1866
1867   /* generate a separate proxy directory for each preview size */
1868
1869   if (seq->type == SEQ_TYPE_IMAGE) {
1870     BLI_snprintf(name,
1871                  PROXY_MAXFILE,
1872                  "%s/images/%d/%s_proxy%s",
1873                  dir,
1874                  render_size,
1875                  BKE_sequencer_give_stripelem(seq, cfra)->name,
1876                  suffix);
1877     frameno = 1;
1878   }
1879   else {
1880     frameno = (int)give_stripelem_index(seq, cfra) + seq->anim_startofs;
1881     BLI_snprintf(name, PROXY_MAXFILE, "%s/proxy_misc/%d/####%s", dir, render_size, suffix);
1882   }
1883
1884   BLI_path_abs(name, BKE_main_blendfile_path_from_global());
1885   BLI_path_frame(name, frameno, 0);
1886
1887   strcat(name, ".jpg");
1888
1889   return true;
1890 }
1891
1892 static ImBuf *seq_proxy_fetch(const SeqRenderData *context, Sequence *seq, int cfra)
1893 {
1894   char name[PROXY_MAXFILE];
1895   IMB_Proxy_Size psize = seq_rendersize_to_proxysize(context->preview_render_size);
1896   int size_flags;
1897   int render_size = context->preview_render_size;
1898   StripProxy *proxy = seq->strip->proxy;
1899   Editing *ed = context->scene->ed;
1900   StripAnim *sanim;
1901
1902   if (!(seq->flag & SEQ_USE_PROXY)) {
1903     return NULL;
1904   }
1905
1906   /* dirty hack to distinguish 100% render size from PROXY_100 */
1907   if (render_size == 99) {
1908     render_size = 100;
1909   }
1910
1911   size_flags = proxy->build_size_flags;
1912
1913   /* only use proxies, if they are enabled (even if present!) */
1914   if (psize == IMB_PROXY_NONE || ((size_flags & psize) != psize)) {
1915     return NULL;
1916   }
1917
1918   if (proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_FILE) {
1919     int frameno = (int)give_stripelem_index(seq, cfra) + seq->anim_startofs;
1920     if (proxy->anim == NULL) {
1921       if (seq_proxy_get_fname(ed, seq, cfra, render_size, name, context->view_id) == 0) {
1922         return NULL;
1923       }
1924
1925       proxy->anim = openanim(name, IB_rect, 0, seq->strip->colorspace_settings.name);
1926     }
1927     if (proxy->anim == NULL) {
1928       return NULL;
1929     }
1930
1931     seq_open_anim_file(context->scene, seq, true);
1932     sanim = seq->anims.first;
1933
1934     frameno = IMB_anim_index_get_frame_index(
1935         sanim ? sanim->anim : NULL, seq->strip->proxy->tc, frameno);
1936
1937     return IMB_anim_absolute(proxy->anim, frameno, IMB_TC_NONE, IMB_PROXY_NONE);
1938   }
1939
1940   if (seq_proxy_get_fname(ed, seq, cfra, render_size, name, context->view_id) == 0) {
1941     return NULL;
1942   }
1943
1944   if (BLI_exists(name)) {
1945     ImBuf *ibuf = IMB_loadiffname(name, IB_rect, NULL);
1946
1947     if (ibuf) {
1948       sequencer_imbuf_assign_spaces(context->scene, ibuf);
1949     }
1950
1951     return ibuf;
1952   }
1953   else {
1954     return NULL;
1955   }
1956 }
1957
1958 static void seq_proxy_build_frame(const SeqRenderData *context,
1959                                   SeqRenderState *state,
1960                                   Sequence *seq,
1961                                   int cfra,
1962                                   int proxy_render_size,
1963                                   const bool overwrite)
1964 {
1965   char name[PROXY_MAXFILE];
1966   int quality;
1967   int rectx, recty;
1968   int ok;
1969   ImBuf *ibuf_tmp, *ibuf;
1970   Editing *ed = context->scene->ed;
1971
1972   if (!seq_proxy_get_fname(ed, seq, cfra, proxy_render_size, name, context->view_id)) {
1973     return;
1974   }
1975
1976   if (!overwrite && BLI_exists(name)) {
1977     return;
1978   }
1979
1980   ibuf_tmp = seq_render_strip(context, state, seq, cfra);
1981
1982   rectx = (proxy_render_size * ibuf_tmp->x) / 100;
1983   recty = (proxy_render_size * ibuf_tmp->y) / 100;
1984
1985   if (ibuf_tmp->x != rectx || ibuf_tmp->y != recty) {
1986     ibuf = IMB_dupImBuf(ibuf_tmp);
1987     IMB_metadata_copy(ibuf, ibuf_tmp);
1988     IMB_freeImBuf(ibuf_tmp);
1989     IMB_scalefastImBuf(ibuf, (short)rectx, (short)recty);
1990   }
1991   else {
1992     ibuf = ibuf_tmp;
1993   }
1994
1995   /* depth = 32 is intentionally left in, otherwise ALPHA channels
1996    * won't work... */
1997   quality = seq->strip->proxy->quality;
1998   ibuf->ftype = IMB_FTYPE_JPG;
1999   ibuf->foptions.quality = quality;
2000
2001   /* unsupported feature only confuses other s/w */
2002   if (ibuf->planes == 32) {
2003     ibuf->planes = 24;
2004   }
2005
2006   BLI_make_existing_file(name);
2007
2008   ok = IMB_saveiff(ibuf, name, IB_rect | IB_zbuf | IB_zbuffloat);
2009   if (ok == 0) {
2010     perror(name);
2011   }
2012
2013   IMB_freeImBuf(ibuf);
2014 }
2015
2016 /**
2017  * Returns whether the file this context would read from even exist,
2018  * if not, don't create the context
2019  */
2020 static bool seq_proxy_multiview_context_invalid(Sequence *seq, Scene *scene, const int view_id)
2021 {
2022   if ((scene->r.scemode & R_MULTIVIEW) == 0) {
2023     return false;
2024   }
2025
2026   if ((seq->type == SEQ_TYPE_IMAGE) && (seq->views_format == R_IMF_VIEWS_INDIVIDUAL)) {
2027     static char prefix[FILE_MAX];
2028     static const char *ext = NULL;
2029     char str[FILE_MAX];
2030
2031     if (view_id == 0) {
2032       char path[FILE_MAX];
2033       BLI_join_dirfile(path, sizeof(path), seq->strip->dir, seq->strip->stripdata->name);
2034       BLI_path_abs(path, BKE_main_blendfile_path_from_global());
2035       BKE_scene_multiview_view_prefix_get(scene, path, prefix, &ext);
2036     }
2037     else {
2038       prefix[0] = '\0';
2039     }
2040
2041     if (prefix[0] == '\0') {
2042       return view_id != 0;
2043     }
2044
2045     seq_multiview_name(scene, view_id, prefix, ext, str, FILE_MAX);
2046
2047     if (BLI_access(str, R_OK) == 0) {
2048       return false;
2049     }
2050     else {
2051       return view_id != 0;
2052     }
2053   }
2054   return false;
2055 }
2056
2057 /**
2058  * This returns the maximum possible number of required contexts
2059  */
2060 static int seq_proxy_context_count(Sequence *seq, Scene *scene)
2061 {
2062   int num_views = 1;
2063
2064   if ((scene->r.scemode & R_MULTIVIEW) == 0) {
2065     return 1;
2066   }
2067
2068   switch (seq->type) {
2069     case SEQ_TYPE_MOVIE: {
2070       num_views = BLI_listbase_count(&seq->anims);
2071       break;
2072     }
2073     case SEQ_TYPE_IMAGE: {
2074       switch (seq->views_format) {
2075         case R_IMF_VIEWS_INDIVIDUAL:
2076           num_views = BKE_scene_multiview_num_views_get(&scene->r);
2077           break;
2078         case R_IMF_VIEWS_STEREO_3D:
2079           num_views = 2;
2080           break;
2081         case R_IMF_VIEWS_MULTIVIEW:
2082           /* not supported at the moment */
2083           /* pass through */
2084         default:
2085           num_views = 1;
2086       }
2087       break;
2088     }
2089   }
2090
2091   return num_views;
2092 }
2093
2094 void BKE_sequencer_proxy_rebuild_context(Main *bmain,
2095                                          Depsgraph *depsgraph,
2096                                          Scene *scene,
2097                                          Sequence *seq,
2098                                          struct GSet *file_list,
2099                                          ListBase *queue)
2100 {
2101   SeqIndexBuildContext *context;
2102   Sequence *nseq;
2103   LinkData *link;
2104   int num_files;
2105   int i;
2106
2107   if (!seq->strip || !seq->strip->proxy) {
2108     return;
2109   }
2110
2111   if (!(seq->flag & SEQ_USE_PROXY)) {
2112     return;
2113   }
2114
2115   num_files = seq_proxy_context_count(seq, scene);
2116
2117   for (i = 0; i < num_files; i++) {
2118     if (seq_proxy_multiview_context_invalid(seq, scene, i)) {
2119       continue;
2120     }
2121
2122     context = MEM_callocN(sizeof(SeqIndexBuildContext), "seq proxy rebuild context");
2123
2124     nseq = BKE_sequence_dupli_recursive(scene, scene, NULL, seq, 0);
2125
2126     context->tc_flags = nseq->strip->proxy->build_tc_flags;
2127     context->size_flags = nseq->strip->proxy->build_size_flags;
2128     context->quality = nseq->strip->proxy->quality;
2129     context->overwrite = (nseq->strip->proxy->build_flags & SEQ_PROXY_SKIP_EXISTING) == 0;
2130
2131     context->bmain = bmain;
2132     context->depsgraph = depsgraph;
2133     context->scene = scene;
2134     context->orig_seq = seq;
2135     context->seq = nseq;
2136
2137     context->view_id = i; /* only for images */
2138
2139     link = BLI_genericNodeN(context);
2140     BLI_addtail(queue, link);
2141
2142     if (nseq->type == SEQ_TYPE_MOVIE) {
2143       StripAnim *sanim;
2144
2145       seq_open_anim_file(scene, nseq, true);
2146       sanim = BLI_findlink(&nseq->anims, i);
2147
2148       if (sanim->anim) {
2149         context->index_context = IMB_anim_index_rebuild_context(sanim->anim,
2150                                                                 context->tc_flags,
2151                                                                 context->size_flags,
2152                                                                 context->quality,
2153                                                                 context->overwrite,
2154                                                                 file_list);
2155       }
2156     }
2157   }
2158 }
2159
2160 void BKE_sequencer_proxy_rebuild(SeqIndexBuildContext *context,
2161                                  short *stop,
2162                                  short *do_update,
2163                                  float *progress)
2164 {
2165   const bool overwrite = context->overwrite;
2166   SeqRenderData render_context;
2167   Sequence *seq = context->seq;
2168   Scene *scene = context->scene;
2169   Main *bmain = context->bmain;
2170   int cfra;
2171
2172   if (seq->type == SEQ_TYPE_MOVIE) {
2173     if (context->index_context) {
2174       IMB_anim_index_rebuild(context->index_context, stop, do_update, progress);
2175     }
2176
2177     return;
2178   }
2179
2180   if (!(seq->flag & SEQ_USE_PROXY)) {
2181     return;
2182   }
2183
2184   /* that's why it is called custom... */
2185   if (seq->strip->proxy && seq->strip->proxy->storage & SEQ_STORAGE_PROXY_CUSTOM_FILE) {
2186     return;
2187   }
2188
2189   /* fail safe code */
2190
2191   BKE_sequencer_new_render_data(bmain,
2192                                 context->depsgraph,
2193                                 context->scene,
2194                                 (scene->r.size * (float)scene->r.xsch) / 100.0f + 0.5f,
2195                                 (scene->r.size * (float)scene->r.ysch) / 100.0f + 0.5f,
2196                                 100,
2197                                 false,
2198                                 &render_context);
2199
2200   render_context.skip_cache = true;
2201   render_context.is_proxy_render = true;
2202   render_context.view_id = context->view_id;
2203
2204   SeqRenderState state;
2205   sequencer_state_init(&state);
2206
2207   for (cfra = seq->startdisp + seq->startstill; cfra < seq->enddisp - seq->endstill; cfra++) {
2208     if (context->size_flags & IMB_PROXY_25) {
2209       seq_proxy_build_frame(&render_context, &state, seq, cfra, 25, overwrite);
2210     }
2211     if (context->size_flags & IMB_PROXY_50) {
2212       seq_proxy_build_frame(&render_context, &state, seq, cfra, 50, overwrite);
2213     }
2214     if (context->size_flags & IMB_PROXY_75) {
2215       seq_proxy_build_frame(&render_context, &state, seq, cfra, 75, overwrite);
2216     }
2217     if (context->size_flags & IMB_PROXY_100) {
2218       seq_proxy_build_frame(&render_context, &state, seq, cfra, 100, overwrite);
2219     }
2220
2221     *progress = (float)(cfra - seq->startdisp - seq->startstill) /
2222                 (seq->enddisp - seq->endstill - seq->startdisp - seq->startstill);
2223     *do_update = true;
2224
2225     if (*stop || G.is_break) {
2226       break;
2227     }
2228   }
2229 }
2230
2231 void BKE_sequencer_proxy_rebuild_finish(SeqIndexBuildContext *context, bool stop)
2232 {
2233   if (context->index_context) {
2234     StripAnim *sanim;
2235
2236     for (sanim = context->seq->anims.first; sanim; sanim = sanim->next) {
2237       IMB_close_anim_proxies(sanim->anim);
2238     }
2239
2240     for (sanim = context->orig_seq->anims.first; sanim; sanim = sanim->next) {
2241       IMB_close_anim_proxies(sanim->anim);
2242     }
2243
2244     IMB_anim_index_rebuild_finish(context->index_context, stop);
2245   }
2246
2247   seq_free_sequence_recurse(NULL, context->seq, true);
2248
2249   MEM_freeN(context);
2250 }
2251
2252 void BKE_sequencer_proxy_set(struct Sequence *seq, bool value)
2253 {
2254   if (value) {
2255     seq->flag |= SEQ_USE_PROXY;
2256     if (seq->strip->proxy == NULL) {
2257       seq->strip->proxy = MEM_callocN(sizeof(struct StripProxy), "StripProxy");
2258       seq->strip->proxy->quality = 90;
2259       seq->strip->proxy->build_tc_flags = SEQ_PROXY_TC_ALL;
2260       seq->strip->proxy->build_size_flags = SEQ_PROXY_IMAGE_SIZE_25;
2261     }
2262   }
2263   else {
2264     seq->flag &= ~SEQ_USE_PROXY;
2265   }
2266 }
2267
2268 /*********************** color balance *************************/
2269
2270 static StripColorBalance calc_cb(StripColorBalance *cb_)
2271 {
2272   StripColorBalance cb = *cb_;
2273   int c;
2274
2275   for (c = 0; c < 3; c++) {
2276     cb.lift[c] = 2.0f - cb.lift[c];
2277   }
2278
2279   if (cb.flag & SEQ_COLOR_BALANCE_INVERSE_LIFT) {
2280     for (c = 0; c < 3; c++) {
2281       /* tweak to give more subtle results
2282        * values above 1.0 are scaled */
2283       if (cb.lift[c] > 1.0f) {
2284         cb.lift[c] = pow(cb.lift[c] - 1.0f, 2.0) + 1.0;
2285       }
2286
2287       cb.lift[c] = 2.0f - cb.lift[c];
2288     }
2289   }
2290
2291   if (cb.flag & SEQ_COLOR_BALANCE_INVERSE_GAIN) {
2292     for (c = 0; c < 3; c++) {
2293       if (cb.gain[c] != 0.0f) {
2294         cb.gain[c] = 1.0f / cb.gain[c];
2295       }
2296       else {
2297         cb.gain[c] = 1000000; /* should be enough :) */
2298       }
2299     }
2300   }
2301
2302   if (!(cb.flag & SEQ_COLOR_BALANCE_INVERSE_GAMMA)) {
2303     for (c = 0; c < 3; c++) {
2304       if (cb.gamma[c] != 0.0f) {
2305         cb.gamma[c] = 1.0f / cb.gamma[c];
2306       }
2307       else {
2308         cb.gamma[c] = 1000000; /* should be enough :) */
2309       }
2310     }
2311   }
2312
2313   return cb;
2314 }
2315
2316 /* note: lift is actually 2-lift */
2317 MINLINE float color_balance_fl(
2318     float in, const float lift, const float gain, const float gamma, const float mul)
2319 {
2320   float x = (((in - 1.0f) * lift) + 1.0f) * gain;
2321
2322   /* prevent NaN */
2323   if (x < 0.f) {
2324     x = 0.f;
2325   }
2326
2327   return powf(x, gamma) * mul;
2328 }
2329
2330 static void make_cb_table_float(float lift, float gain, float gamma, float *table, float mul)
2331 {
2332   int y;
2333
2334   for (y = 0; y < 256; y++) {
2335     float v = color_balance_fl((float)y * (1.0f / 255.0f), lift, gain, gamma, mul);
2336
2337     table[y] = v;
2338   }
2339 }
2340
2341 static void color_balance_byte_byte(StripColorBalance *cb_,
2342                                     unsigned char *rect,
2343                                     unsigned char *mask_rect,
2344                                     int width,
2345                                     int height,
2346                                     float mul)
2347 {
2348   // unsigned char cb_tab[3][256];
2349   unsigned char *cp = rect;
2350   unsigned char *e = cp + width * 4 * height;
2351   unsigned char *m = mask_rect;
2352
2353   StripColorBalance cb = calc_cb(cb_);
2354
2355   while (cp < e) {
2356     float p[4];
2357     int c;
2358
2359     straight_uchar_to_premul_float(p, cp);
2360
2361     for (c = 0; c < 3; c++) {
2362       float t = color_balance_fl(p[c], cb.lift[c], cb.gain[c], cb.gamma[c], mul);
2363
2364       if (m) {
2365         float m_normal = (float)m[c] / 255.0f;
2366
2367         p[c] = p[c] * (1.0f - m_normal) + t * m_normal;
2368       }
2369       else {
2370         p[c] = t;
2371       }
2372     }
2373
2374     premul_float_to_straight_uchar(cp, p);
2375
2376     cp += 4;
2377     if (m) {
2378       m += 4;
2379     }
2380   }
2381 }
2382
2383 static void color_balance_byte_float(StripColorBalance *cb_,
2384                                      unsigned char *rect,
2385                                      float *rect_float,
2386                                      unsigned char *mask_rect,
2387                                      int width,
2388                                      int height,
2389                                      float mul)
2390 {
2391   float cb_tab[4][256];
2392   int c, i;
2393   unsigned char *p = rect;
2394   unsigned char *e = p + width * 4 * height;
2395   unsigned char *m = mask_rect;
2396   float *o;
2397   StripColorBalance cb;
2398
2399   o = rect_float;
2400
2401   cb = calc_cb(cb_);
2402
2403   for (c = 0; c < 3; c++) {
2404     make_cb_table_float(cb.lift[c], cb.gain[c], cb.gamma[c], cb_tab[c], mul);
2405   }
2406
2407   for (i = 0; i < 256; i++) {
2408     cb_tab[3][i] = ((float)i) * (1.0f / 255.0f);
2409   }
2410
2411   while (p < e) {
2412     if (m) {
2413       float t[3] = {m[0] / 255.0f, m[1] / 255.0f, m[2] / 255.0f};
2414
2415       p[0] = p[0] * (1.0f - t[0]) + t[0] * cb_tab[0][p[0]];
2416       p[1] = p[1] * (1.0f - t[1]) + t[1] * cb_tab[1][p[1]];
2417       p[2] = p[2] * (1.0f - t[2]) + t[2] * cb_tab[2][p[2]];
2418
2419       m += 4;
2420     }
2421     else {
2422       o[0] = cb_tab[0][p[0]];
2423       o[1] = cb_tab[1][p[1]];
2424       o[2] = cb_tab[2][p[2]];
2425     }
2426
2427     o[3] = cb_tab[3][p[3]];
2428
2429     p += 4;
2430     o += 4;
2431   }
2432 }
2433
2434 static void color_balance_float_float(StripColorBalance *cb_,
2435                                       float *rect_float,
2436                                       float *mask_rect_float,
2437                                       int width,
2438                                       int height,
2439                                       float mul)
2440 {
2441   float *p = rect_float;
2442   const float *e = rect_float + width * 4 * height;
2443   const float *m = mask_rect_float;
2444   StripColorBalance cb = calc_cb(cb_);
2445
2446   while (p < e) {
2447     int c;
2448     for (c = 0; c < 3; c++) {
2449       float t = color_balance_fl(p[c], cb.lift[c], cb.gain[c], cb.gamma[c], mul);
2450
2451       if (m) {
2452         p[c] = p[c] * (1.0f - m[c]) + t * m[c];
2453       }
2454       else {
2455         p[c] = t;
2456       }
2457     }
2458
2459     p += 4;
2460     if (m) {
2461       m += 4;
2462     }
2463   }
2464 }
2465
2466 typedef struct ColorBalanceInitData {
2467   StripColorBalance *cb;
2468   ImBuf *ibuf;
2469   float mul;
2470   ImBuf *mask;
2471   bool make_float;
2472 } ColorBalanceInitData;
2473
2474 typedef struct ColorBalanceThread {
2475   StripColorBalance *cb;
2476   float mul;
2477
2478   int width, height;
2479
2480   unsigned char *rect, *mask_rect;
2481   float *rect_float, *mask_rect_float;
2482
2483   bool make_float;
2484 } ColorBalanceThread;
2485
2486 static void color_balance_init_handle(void *handle_v,
2487                                       int start_line,
2488                                       int tot_line,
2489                                       void *init_data_v)
2490 {
2491   ColorBalanceThread *handle = (ColorBalanceThread *)handle_v;
2492   ColorBalanceInitData *init_data = (ColorBalanceInitData *)init_data_v;
2493   ImBuf *ibuf = init_data->ibuf;
2494   ImBuf *mask = init_data->mask;
2495
2496   int offset = 4 * start_line * ibuf->x;
2497
2498   memset(handle, 0, sizeof(ColorBalanceThread));
2499
2500   handle->cb = init_data->cb;
2501   handle->mul = init_data->mul;
2502   handle->width = ibuf->x;
2503   handle->height = tot_line;
2504   handle->make_float = init_data->make_float;
2505
2506   if (ibuf->rect) {
2507     handle->rect = (unsigned char *)ibuf->rect + offset;
2508   }
2509
2510   if (ibuf->rect_float) {
2511     handle->rect_float = ibuf->rect_float + offset;
2512   }
2513
2514   if (mask) {
2515     if (mask->rect) {
2516       handle->mask_rect = (unsigned char *)mask->rect + offset;
2517     }
2518
2519     if (mask->rect_float) {
2520       handle->mask_rect_float = mask->rect_float + offset;
2521     }
2522   }
2523   else {
2524     handle->mask_rect = NULL;
2525     handle->mask_rect_float = NULL;
2526   }
2527 }
2528
2529 static void *color_balance_do_thread(void *thread_data_v)
2530 {
2531   ColorBalanceThread *thread_data = (ColorBalanceThread *)thread_data_v;
2532   StripColorBalance *cb = thread_data->cb;
2533   int width = thread_data->width, height = thread_data->height;
2534   unsigned char *rect = thread_data->rect;
2535   unsigned char *mask_rect = thread_data->mask_rect;
2536   float *rect_float = thread_data->rect_float;
2537   float *mask_rect_float = thread_data->mask_rect_float;
2538   float mul = thread_data->mul;
2539
2540   if (rect_float) {
2541     color_balance_float_float(cb, rect_float, mask_rect_float, width, height, mul);
2542   }
2543   else if (thread_data->make_float) {
2544     color_balance_byte_float(cb, rect, rect_float, mask_rect, width, height, mul);
2545   }
2546   else {
2547     color_balance_byte_byte(cb, rect, mask_rect, width, height, mul);
2548   }
2549
2550   return NULL;
2551 }
2552
2553 /* cfra is offset by fra_offset only in case we are using a real mask. */
2554 ImBuf *BKE_sequencer_render_mask_input(const SeqRenderData *context,
2555                                        int mask_input_type,
2556                                        Sequence *mask_sequence,
2557                                        Mask *mask_id,
2558                                        int cfra,
2559                                        int fra_offset,
2560                                        bool make_float)
2561 {
2562   ImBuf *mask_input = NULL;
2563
2564   if (mask_input_type == SEQUENCE_MASK_INPUT_STRIP) {
2565     if (mask_sequence) {
2566       SeqRenderState state;
2567       sequencer_state_init(&state);
2568
2569       mask_input = seq_render_strip(context, &state, mask_sequence, cfra);
2570
2571       if (make_float) {
2572         if (!mask_input->rect_float) {
2573           IMB_float_from_rect(mask_input);
2574         }
2575       }
2576       else {
2577         if (!mask_input->rect) {
2578           IMB_rect_from_float(mask_input);
2579         }
2580       }
2581     }
2582   }
2583   else if (mask_input_type == SEQUENCE_MASK_INPUT_ID) {
2584     mask_input = seq_render_mask(context, mask_id, cfra - fra_offset, make_float);
2585   }
2586
2587   return mask_input;
2588 }
2589
2590 void BKE_sequencer_color_balance_apply(
2591     StripColorBalance *cb, ImBuf *ibuf, float mul, bool make_float, ImBuf *mask_input)
2592 {
2593   ColorBalanceInitData init_data;
2594
2595   if (!ibuf->rect_float && make_float) {
2596     imb_addrectfloatImBuf(ibuf);
2597   }
2598
2599   init_data.cb = cb;
2600   init_data.ibuf = ibuf;
2601   init_data.mul = mul;
2602   init_data.make_float = make_float;
2603   init_data.mask = mask_input;
2604
2605   IMB_processor_apply_threaded(ibuf->y,
2606                                sizeof(ColorBalanceThread),
2607                                &init_data,
2608                                color_balance_init_handle,
2609                                color_balance_do_thread);
2610
2611   /* color balance either happens on float buffer or byte buffer, but never on both,
2612    * free byte buffer if there's float buffer since float buffer would be used for
2613    * color balance in favor of byte buffer
2614    */
2615   if (ibuf->rect_float && ibuf->rect) {
2616     imb_freerectImBuf(ibuf);
2617   }
2618 }
2619
2620 /*
2621  * input preprocessing for SEQ_TYPE_IMAGE, SEQ_TYPE_MOVIE, SEQ_TYPE_MOVIECLIP and SEQ_TYPE_SCENE
2622  *
2623  * Do all the things you can't really do afterwards using sequence effects
2624  * (read: before rescaling to render resolution has been done)
2625  *
2626  * Order is important!
2627  *
2628  * - Deinterlace
2629  * - Crop and transform in image source coordinate space
2630  * - Flip X + Flip Y (could be done afterwards, backward compatibility)
2631  * - Promote image to float data (affects pipeline operations afterwards)
2632  * - Color balance (is most efficient in the byte -> float
2633  *   (future: half -> float should also work fine!)
2634  *   case, if done on load, since we can use lookup tables)
2635  * - Premultiply
2636  */
2637
2638 bool BKE_sequencer_input_have_to_preprocess(const SeqRenderData *context,
2639                                             Sequence *seq,
2640                                             float UNUSED(cfra))
2641 {
2642   float mul;
2643
2644   if (context && context->is_proxy_render) {
2645     return false;
2646   }
2647
2648   if (seq->flag &
2649       (SEQ_FILTERY | SEQ_USE_CROP | SEQ_USE_TRANSFORM | SEQ_FLIPX | SEQ_FLIPY | SEQ_MAKE_FLOAT)) {
2650     return true;
2651   }
2652
2653   mul = seq->mul;
2654
2655   if (seq->blend_mode == SEQ_BLEND_REPLACE) {
2656     mul *= seq->blend_opacity / 100.0f;
2657   }
2658
2659   if (mul != 1.0f) {
2660     return true;
2661   }
2662
2663   if (seq->sat != 1.0f) {
2664     return true;
2665   }
2666
2667   if (seq->modifiers.first) {
2668     return true;
2669   }
2670
2671   return false;
2672 }
2673
2674 static ImBuf *input_preprocess(const SeqRenderData *context,
2675                                Sequence *seq,
2676                                float cfra,
2677                                ImBuf *ibuf,
2678                                const bool is_proxy_image,
2679                                const bool is_preprocessed)
2680 {
2681   Scene *scene = context->scene;
2682   float mul;
2683
2684   ibuf = IMB_makeSingleUser(ibuf);
2685
2686   if ((seq->flag & SEQ_FILTERY) && !ELEM(seq->type, SEQ_TYPE_MOVIE, SEQ_TYPE_MOVIECLIP)) {
2687     IMB_filtery(ibuf);
2688   }
2689
2690   if (seq->flag & (SEQ_USE_CROP | SEQ_USE_TRANSFORM)) {
2691     StripCrop c = {0};
2692     StripTransform t = {0};
2693     int sx, sy, dx, dy;
2694
2695     if (is_proxy_image) {
2696       double f = seq_rendersize_to_scale_factor(context->preview_render_size);
2697
2698       if (f != 1.0) {
2699         IMB_scalefastImBuf(ibuf, ibuf->x / f, ibuf->y / f);
2700       }
2701     }
2702
2703     if (seq->flag & SEQ_USE_CROP && seq->strip->crop) {
2704       c = *seq->strip->crop;
2705     }
2706     if (seq->flag & SEQ_USE_TRANSFORM && seq->strip->transform) {
2707       t = *seq->strip->transform;
2708     }
2709
2710     if (is_preprocessed) {
2711       double xscale = scene->r.xsch ? ((double)context->rectx / (double)scene->r.xsch) : 1.0;
2712       double yscale = scene->r.ysch ? ((double)context->recty / (double)scene->r.ysch) : 1.0;
2713       if (seq->flag & SEQ_USE_TRANSFORM) {
2714         t.xofs *= xscale;
2715         t.yofs *= yscale;
2716       }
2717       if (seq->flag & SEQ_USE_CROP) {
2718         c.left *= xscale;
2719         c.right *= xscale;
2720         c.top *= yscale;
2721         c.bottom *= yscale;
2722       }
2723     }
2724
2725     sx = ibuf->x - c.left - c.right;
2726     sy = ibuf->y - c.top - c.bottom;
2727
2728     if (seq->flag & SEQ_USE_TRANSFORM) {
2729       if (is_preprocessed) {
2730         dx = context->rectx;
2731         dy = context->recty;
2732       }
2733       else {
2734         dx = scene->r.xsch;
2735         dy = scene->r.ysch;
2736       }
2737     }
2738     else {
2739       dx = sx;
2740       dy = sy;
2741     }
2742
2743     if (c.top + c.bottom >= ibuf->y || c.left + c.right >= ibuf->x || t.xofs >= dx ||
2744         t.yofs >= dy) {
2745       make_black_ibuf(ibuf);
2746     }
2747     else {
2748       ImBuf *i = IMB_allocImBuf(dx, dy, 32, ibuf->rect_float ? IB_rectfloat : IB_rect);
2749
2750       IMB_rectcpy(i, ibuf, t.xofs, t.yofs, c.left, c.bottom, sx, sy);
2751       sequencer_imbuf_assign_spaces(scene, i);
2752
2753       IMB_metadata_copy(i, ibuf);
2754       IMB_freeImBuf(ibuf);
2755
2756       ibuf = i;
2757     }
2758   }
2759
2760   if (seq->flag & SEQ_FLIPX) {
2761     IMB_flipx(ibuf);
2762   }
2763
2764   if (seq->flag & SEQ_FLIPY) {
2765     IMB_flipy(ibuf);
2766   }
2767
2768   if (seq->sat != 1.0f) {
2769     IMB_saturation(ibuf, seq->sat);
2770   }
2771
2772   mul = seq->mul;
2773
2774   if (seq->blend_mode == SEQ_BLEND_REPLACE) {
2775     mul *= seq->blend_opacity / 100.0f;
2776   }
2777
2778   if (seq->flag & SEQ_MAKE_FLOAT) {
2779     if (!ibuf->rect_float) {
2780       BKE_sequencer_imbuf_to_sequencer_space(scene, ibuf, true);
2781     }
2782
2783     if (ibuf->rect) {
2784       imb_freerectImBuf(ibuf);
2785     }
2786   }
2787
2788   if (mul != 1.0f) {
2789     multibuf(ibuf, mul);
2790   }
2791
2792   if (ibuf->x != context->rectx || ibuf->y != context->recty) {
2793     if (scene->display.render_aa > SCE_DISPLAY_AA_FXAA) {
2794       IMB_scaleImBuf(ibuf, (short)context->rectx, (short)context->recty);
2795     }
2796     else {
2797       IMB_scalefastImBuf(ibuf, (short)context->rectx, (short)context->recty);
2798     }
2799   }
2800
2801   if (seq->modifiers.first) {
2802     ImBuf *ibuf_new = BKE_sequence_modifier_apply_stack(context, seq, ibuf, cfra);
2803
2804     if (ibuf_new != ibuf) {
2805       IMB_metadata_copy(ibuf_new, ibuf);
2806       IMB_freeImBuf(ibuf);
2807       ibuf = ibuf_new;
2808     }
2809   }
2810
2811   return ibuf;
2812 }
2813
2814 /*********************** strip rendering functions  *************************/
2815
2816 typedef struct RenderEffectInitData {
2817   struct SeqEffectHandle *sh;
2818   const SeqRenderData *context;
2819   Sequence *seq;
2820   float cfra, facf0, facf1;
2821   ImBuf *ibuf1, *ibuf2, *ibuf3;
2822
2823   ImBuf *out;
2824 } RenderEffectInitData;
2825
2826 typedef struct RenderEffectThread {
2827   struct SeqEffectHandle *sh;
2828   const SeqRenderData *context;
2829   Sequence *seq;
2830   float cfra, facf0, facf1;
2831   ImBuf *ibuf1, *ibuf2, *ibuf3;
2832
2833   ImBuf *out;
2834   int start_line, tot_line;
2835 } RenderEffectThread;
2836
2837 static void render_effect_execute_init_handle(void *handle_v,
2838                                               int start_line,
2839                                               int tot_line,
2840                                               void *init_data_v)
2841 {
2842   RenderEffectThread *handle = (RenderEffectThread *)handle_v;
2843   RenderEffectInitData *init_data = (RenderEffectInitData *)init_data_v;
2844
2845   handle->sh = init_data->sh;
2846   handle->context = init_data->context;
2847   handle->seq = init_data->seq;
2848   handle->cfra = init_data->cfra;
2849   handle->facf0 = init_data->facf0;
2850   handle->facf1 = init_data->facf1;
2851   handle->ibuf1 = init_data->ibuf1;
2852   handle->ibuf2 = init_data->ibuf2;
2853   handle->ibuf3 = init_data->ibuf3;
2854   handle->out = init_data->out;
2855
2856   handle->start_line = start_line;
2857   handle->tot_line = tot_line;
2858 }
2859
2860 static void *render_effect_execute_do_thread(void *thread_data_v)
2861 {
2862   RenderEffectThread *thread_data = (RenderEffectThread *)thread_data_v;
2863
2864   thread_data->sh->execute_slice(thread_data->context,
2865                                  thread_data->seq,
2866                                  thread_data->cfra,
2867                                  thread_data->facf0,
2868                                  thread_data->facf1,
2869                                  thread_data->ibuf1,
2870                                  thread_data->ibuf2,
2871                                  thread_data->ibuf3,
2872                                  thread_data->start_line,
2873                                  thread_data->tot_line,
2874                                  thread_data->out);
2875
2876   return NULL;
2877 }
2878
2879 static ImBuf *seq_render_effect_execute_threaded(struct SeqEffectHandle *sh,
2880                                                  const SeqRenderData *context,
2881                                                  Sequence *seq,
2882                                                  float cfra,
2883                                                  float facf0,
2884                                                  float facf1,
2885                                                  ImBuf *ibuf1,
2886                                                  ImBuf *ibuf2,
2887                                                  ImBuf *ibuf3)
2888 {
2889   RenderEffectInitData init_data;
2890   ImBuf *out = sh->init_execution(context, ibuf1, ibuf2, ibuf3);
2891
2892   init_data.sh = sh;
2893   init_data.context = context;
2894   init_data.seq = seq;
2895   init_data.cfra = cfra;
2896   init_data.facf0 = facf0;
2897   init_data.facf1 = facf1;
2898   init_data.ibuf1 = ibuf1;
2899   init_data.ibuf2 = ibuf2;
2900   init_data.ibuf3 = ibuf3;
2901   init_data.out = out;
2902
2903   IMB_processor_apply_threaded(out->y,
2904                                sizeof(RenderEffectThread),
2905                                &init_data,
2906                                render_effect_execute_init_handle,
2907                                render_effect_execute_do_thread);
2908
2909   return out;
2910 }
2911
2912 static ImBuf *seq_render_effect_strip_impl(const SeqRenderData *context,
2913                                            SeqRenderState *state,
2914                                            Sequence *seq,
2915                                            float cfra)
2916 {
2917   Scene *scene = context->scene;
2918   float fac, facf;
2919   int early_out;
2920   int i;
2921   struct SeqEffectHandle sh = BKE_sequence_get_effect(seq);
2922   FCurve *fcu = NULL;
2923   ImBuf *ibuf[3];
2924   Sequence *input[3];
2925   ImBuf *out = NULL;
2926
2927   ibuf[0] = ibuf[1] = ibuf[2] = NULL;
2928
2929   input[0] = seq->seq1;
2930   input[1] = seq->seq2;
2931   input[2] = seq->seq3;
2932
2933   if (!sh.execute && !(sh.execute_slice && sh.init_execution)) {
2934     /* effect not supported in this version... */
2935     out = IMB_allocImBuf(context->rectx, context->recty, 32, IB_rect);
2936     return out;
2937   }
2938
2939   if (seq->flag & SEQ_USE_EFFECT_DEFAULT_FADE) {
2940     sh.get_default_fac(seq, cfra, &fac, &facf);
2941     facf = fac;
2942   }
2943   else {
2944     fcu = id_data_find_fcurve(&scene->id, seq, &RNA_Sequence, "effect_fader", 0, NULL);
2945     if (fcu) {
2946       fac = facf = evaluate_fcurve(fcu, cfra);
2947     }
2948     else {
2949       fac = facf = seq->effect_fader;
2950     }
2951   }
2952
2953   early_out = sh.early_out(seq, fac, facf);
2954
2955   switch (early_out) {
2956     case EARLY_NO_INPUT:
2957       out = sh.execute(context, seq, cfra, fac, facf, NULL, NULL, NULL);
2958       break;
2959     case EARLY_DO_EFFECT:
2960       for (i = 0; i < 3; i++) {
2961         if (input[i]) {
2962           ibuf[i] = seq_render_strip(context, state, input[i], cfra);
2963         }
2964       }
2965
2966       if (ibuf[0] && ibuf[1]) {
2967         if (sh.multithreaded) {
2968           out = seq_render_effect_execute_threaded(
2969               &sh, context, seq, cfra, fac, facf, ibuf[0], ibuf[1], ibuf[2]);
2970         }
2971         else {
2972           out = sh.execute(context, seq, cfra, fac, facf, ibuf[0], ibuf[1], ibuf[2]);
2973         }
2974       }
2975       break;
2976     case EARLY_USE_INPUT_1:
2977       if (input[0]) {
2978         ibuf[0] = seq_render_strip(context, state, input[0], cfra);
2979       }
2980       if (ibuf[0]) {
2981         if (BKE_sequencer_input_have_to_preprocess(context, seq, cfra)) {
2982           out = IMB_dupImBuf(ibuf[0]);
2983         }
2984         else {
2985           out = ibuf[0];
2986           IMB_refImBuf(out);
2987         }
2988       }
2989       break;
2990     case EARLY_USE_INPUT_2:
2991       if (input[1]) {
2992         ibuf[1] = seq_render_strip(context, state, input[1], cfra);
2993       }
2994       if (ibuf[1]) {
2995         if (BKE_sequencer_input_have_to_preprocess(context, seq, cfra)) {
2996           out = IMB_dupImBuf(ibuf[1]);
2997         }
2998         else {
2999           out = ibuf[1];
3000           IMB_refImBuf(out);
3001         }
3002       }
3003       break;
3004   }
3005
3006   for (i = 0; i < 3; i++) {
3007     IMB_freeImBuf(ibuf[i]);
3008   }
3009
3010   if (out == NULL) {
3011     out = IMB_allocImBuf(context->rectx, context->recty, 32, IB_rect);
3012   }
3013
3014   return out;
3015 }
3016
3017 static ImBuf *seq_render_image_strip(const SeqRenderData *context,
3018                                      Sequence *seq,
3019                                      float UNUSED(nr),
3020                                      float cfra)
3021 {
3022   ImBuf *ibuf = NULL;
3023   char name[FILE_MAX];
3024   bool is_multiview = (seq->flag & SEQ_USE_VIEWS) != 0 &&
3025                       (context->scene->r.scemode & R_MULTIVIEW) != 0;
3026   StripElem *s_elem = BKE_sequencer_give_stripelem(seq, cfra);
3027   int flag;
3028
3029   if (s_elem) {
3030     BLI_join_dirfile(name, sizeof(name), seq->strip->dir, s_elem->name);
3031     BLI_path_abs(name, BKE_main_blendfile_path_from_global());
3032   }
3033
3034   flag = IB_rect | IB_metadata;
3035   if (seq->alpha_mode == SEQ_ALPHA_PREMUL) {
3036     flag |= IB_alphamode_premul;
3037   }
3038
3039   if (!s_elem) {
3040     /* don't do anything */
3041   }
3042   else if (is_multiview) {
3043     const int totfiles = seq_num_files(context->scene, seq->views_format, true);
3044     int totviews;
3045     struct ImBuf **ibufs_arr;
3046     char prefix[FILE_MAX];
3047     const char *ext = NULL;
3048     int i;
3049
3050     if (totfiles > 1) {
3051       BKE_scene_multiview_view_prefix_get(context->scene, name, prefix, &ext);
3052       if (prefix[0] == '\0') {
3053         goto monoview_image;
3054       }
3055     }
3056     else {
3057       prefix[0] = '\0';
3058     }
3059
3060     totviews = BKE_scene_multiview_num_views_get(&context->scene->r);
3061     ibufs_arr = MEM_callocN(sizeof(ImBuf *) * totviews, "Sequence Image Views Imbufs");
3062
3063     for (i = 0; i < totfiles; i++) {
3064
3065       if (prefix[0] == '\0') {
3066         ibufs_arr[i] = IMB_loadiffname(name, flag, seq->strip->colorspace_settings.name);
3067       }
3068       else {
3069         char str[FILE_MAX];
3070         seq_multiview_name(context->scene, i, prefix, ext, str, FILE_MAX);
3071         ibufs_arr[i] = IMB_loadiffname(str, flag, seq->strip->colorspace_settings.name);
3072       }
3073
3074       if (ibufs_arr[i]) {
3075         /* we don't need both (speed reasons)! */
3076         if (ibufs_arr[i]->rect_float && ibufs_arr[i]->rect) {
3077           imb_freerectImBuf(ibufs_arr[i]);
3078         }
3079       }
3080     }
3081
3082     if (seq->views_format == R_IMF_VIEWS_STEREO_3D && ibufs_arr[0]) {
3083       IMB_ImBufFromStereo3d(seq->stereo3d_format, ibufs_arr[0], &ibufs_arr[0], &ibufs_arr[1]);
3084     }
3085
3086     for (i = 0; i < totviews; i++) {
3087       if (ibufs_arr[i]) {
3088         SeqRenderData localcontext = *context;
3089         localcontext.view_id = i;
3090
3091         /* all sequencer color is done in SRGB space, linear gives odd crossfades */
3092         BKE_sequencer_imbuf_to_sequencer_space(context->scene, ibufs_arr[i], false);
3093
3094         if (i != context->view_id) {
3095           BKE_sequencer_cache_put(
3096               &localcontext, seq, cfra, SEQ_CACHE_STORE_PREPROCESSED, ibufs_arr[i], 0);
3097         }
3098       }
3099     }
3100
3101     /* return the original requested ImBuf */
3102     ibuf = ibufs_arr[context->view_id];
3103     if (ibuf) {
3104       s_elem->orig_width = ibufs_arr[0]->x;
3105       s_elem->orig_height = ibufs_arr[0]->y;
3106     }
3107
3108     /* "remove" the others (decrease their refcount) */
3109     for (i = 0; i < totviews; i++) {
3110       if (ibufs_arr[i] != ibuf) {
3111         IMB_freeImBuf(ibufs_arr[i]);
3112       }
3113     }
3114
3115     MEM_freeN(ibufs_arr);
3116   }
3117   else {
3118   monoview_image:
3119     if ((ibuf = IMB_loadiffname(name, flag, seq->strip->colorspace_settings.name))) {
3120       /* we don't need both (speed reasons)! */
3121       if (ibuf->rect_float && ibuf->rect) {
3122         imb_freerectImBuf(ibuf);
3123       }
3124
3125       /* all sequencer color is done in SRGB space, linear gives odd crossfades */
3126       BKE_sequencer_imbuf_to_sequencer_space(context->scene, ibuf, false);
3127
3128       s_elem->orig_width = ibuf->x;
3129       s_elem->orig_height = ibuf->y;
3130     }
3131   }
3132
3133   return ibuf;
3134 }
3135
3136 static ImBuf *seq_render_movie_strip(const SeqRenderData *context,
3137                                      Sequence *seq,
3138                                      float nr,
3139                                      float cfra)
3140 {
3141   ImBuf *ibuf = NULL;
3142   StripAnim *sanim;
3143   bool is_multiview = (seq->flag & SEQ_USE_VIEWS) != 0 &&
3144                       (context->scene->r.scemode & R_MULTIVIEW) != 0;
3145
3146   /* load all the videos */
3147   seq_open_anim_file(context->scene, seq, false);
3148
3149   if (is_multiview) {
3150     ImBuf **ibuf_arr;
3151     const int totfiles = seq_num_files(context->scene, seq->views_format, true);
3152     int totviews;
3153     int i;
3154
3155     if (totfiles != BLI_listbase_count_at_most(&seq->anims, totfiles + 1)) {
3156       goto monoview_movie;
3157     }
3158
3159     totviews = BKE_scene_multiview_num_views_get(&context->scene->r);
3160     ibuf_arr = MEM_callocN(sizeof(ImBuf *) * totviews, "Sequence Image Views Imbufs");
3161
3162     for (i = 0, sanim = seq->anims.first; sanim; sanim = sanim->next, i++) {
3163       if (sanim->anim) {
3164         IMB_Proxy_Size proxy_size = seq_rendersize_to_proxysize(context->preview_render_size);
3165         IMB_anim_set_preseek(sanim->anim, seq->anim_preseek);
3166
3167         ibuf_arr[i] = IMB_anim_absolute(sanim->anim,
3168                                         nr + seq->anim_startofs,
3169                                         seq->strip->proxy ? seq->strip->proxy->tc :
3170                                                             IMB_TC_RECORD_RUN,
3171                                         proxy_size);
3172
3173         /* fetching for requested proxy size failed, try fetching the original instead */
3174         if (!ibuf_arr[i] && proxy_size != IMB_PROXY_NONE) {
3175           ibuf_arr[i] = IMB_anim_absolute(sanim->anim,
3176                                           nr + seq->anim_startofs,
3177                                           seq->strip->proxy ? seq->strip->proxy->tc :
3178                                                               IMB_TC_RECORD_RUN,
3179                                           IMB_PROXY_NONE);
3180         }
3181         if (ibuf_arr[i]) {
3182           /* we don't need both (speed reasons)! */
3183           if (ibuf_arr[i]->rect_float && ibuf_arr[i]->rect) {
3184             imb_freerectImBuf(ibuf_arr[i]);
3185           }
3186         }
3187       }
3188     }
3189
3190     if (seq->views_format == R_IMF_VIEWS_STEREO_3D) {
3191       if (ibuf_arr[0]) {
3192         IMB_ImBufFromStereo3d(seq->stereo3d_format, ibuf_arr[0], &ibuf_arr[0], &ibuf_arr[1]);
3193       }
3194       else {
3195         /* probably proxy hasn't been created yet */
3196         MEM_freeN(ibuf_arr);
3197         return NULL;
3198       }
3199     }
3200
3201     for (i = 0; i < totviews; i++) {
3202       SeqRenderData localcontext = *context;
3203       localcontext.view_id = i;
3204
3205       if (ibuf_arr[i]) {
3206         /* all sequencer color is done in SRGB space, linear gives odd crossfades */
3207         BKE_sequencer_imbuf_to_sequencer_space(context->scene, ibuf_arr[i], false);
3208       }
3209       if (i != context->view_id) {
3210         BKE_sequencer_cache_put(
3211             &localcontext, seq, cfra, SEQ_CACHE_STORE_PREPROCESSED, ibuf_arr[i], 0);
3212       }
3213     }
3214
3215     /* return the original requested ImBuf */
3216     ibuf = ibuf_arr[context->view_id];
3217     if (ibuf) {
3218       seq->strip->stripdata->orig_width = ibuf->x;
3219       seq->strip->stripdata->orig_height = ibuf->y;
3220     }
3221
3222     /* "remove" the others (decrease their refcount) */
3223     for (i = 0; i < totviews; i++) {
3224       if (ibuf_arr[i] != ibuf) {
3225         IMB_freeImBuf(ibuf_arr[i]);
3226       }
3227     }
3228
3229     MEM_freeN(ibuf_arr);
3230   }
3231   else {
3232   monoview_movie:
3233     sanim = seq->anims.first;
3234     if (sanim && sanim->anim) {
3235       IMB_Proxy_Size proxy_size = seq_rendersize_to_proxysize(context->preview_render_size);
3236       IMB_anim_set_preseek(sanim->anim, seq->anim_preseek);
3237
3238       ibuf = IMB_anim_absolute(sanim->anim,
3239                                nr + seq->anim_startofs,
3240                                seq->strip->proxy ? seq->strip->proxy->tc : IMB_TC_RECORD_RUN,
3241                                proxy_size);
3242
3243       /* fetching for requested proxy size failed, try fetching the original instead */
3244       if (!ibuf && proxy_size != IMB_PROXY_NONE) {
3245         ibuf = IMB_anim_absolute(sanim->anim,
3246                                  nr + seq->anim_startofs,
3247                                  seq->strip->proxy ? seq->strip->proxy->tc : IMB_TC_RECORD_RUN,
3248                                  IMB_PROXY_NONE);
3249       }
3250       if (ibuf) {
3251         BKE_sequencer_imbuf_to_sequencer_space(context->scene, ibuf, false);
3252
3253         /* we don't need both (speed reasons)! */
3254         if (ibuf->rect_float && ibuf->rect) {
3255           imb_freerectImBuf(ibuf);
3256         }
3257
3258         seq->strip->stripdata->orig_width = ibuf->x;
3259         seq->strip->stripdata->orig_height = ibuf->y;
3260       }
3261     }
3262   }
3263   return ibuf;
3264 }
3265
3266 static ImBuf *seq_render_movieclip_strip(const SeqRenderData *context, Sequence *seq, float nr)
3267 {
3268   ImBuf *ibuf = NULL;
3269   MovieClipUser user;
3270   float tloc[2], tscale, tangle;
3271
3272   if (!seq->clip) {
3273     return NULL;
3274   }
3275
3276   memset(&user, 0, sizeof(MovieClipUser));
3277
3278   BKE_movieclip_user_set_frame(&user, nr + seq->anim_startofs + seq->clip->start_frame);
3279
3280   user.render_flag |= MCLIP_PROXY_RENDER_USE_FALLBACK_RENDER;
3281
3282   user.render_size = MCLIP_PROXY_RENDER_SIZE_FULL;
3283   switch (seq_rendersize_to_proxysize(context->preview_render_size)) {
3284     case IMB_PROXY_NONE:
3285       user.render_size = MCLIP_PROXY_RENDER_SIZE_FULL;
3286       break;
3287     case IMB_PROXY_100:
3288       user.render_size = MCLIP_PROXY_RENDER_SIZE_100;
3289       break;
3290     case IMB_PROXY_75:
3291       user.render_size = MCLIP_PROXY_RENDER_SIZE_75;
3292       break;
3293     case IMB_PROXY_50:
3294       user.render_size = MCLIP_PROXY_RENDER_SIZE_50;
3295       break;
3296     case IMB_PROXY_25:
3297       user.render_size = MCLIP_PROXY_RENDER_SIZE_25;
3298       break;
3299   }
3300
3301   if (seq->clip_flag & SEQ_MOVIECLIP_RENDER_UNDISTORTED) {
3302     user.render_flag |= MCLIP_PROXY_RENDER_UNDISTORT;
3303   }
3304
3305   if (seq->clip_flag & SEQ_MOVIECLIP_RENDER_STABILIZED) {
3306     ibuf = BKE_movieclip_get_stable_ibuf(seq->clip, &user, tloc, &tscale, &tangle, 0);
3307   }
3308   else {
3309     ibuf = BKE_movieclip_get_ibuf_flag(seq->clip, &user, seq->clip->flag, MOVIECLIP_CACHE_SKIP);
3310   }
3311
3312   return ibuf;
3313 }
3314
3315 static ImBuf *seq_render_mask(const SeqRenderData *context, Mask *mask, float nr, bool make_float)
3316 {
3317   /* TODO - add option to rasterize to alpha imbuf? */
3318   ImBuf *ibuf = NULL;
3319   float *maskbuf;
3320   int i;
3321
3322   if (!mask) {
3323     return NULL;
3324   }
3325   else {
3326     AnimData *adt;
3327     Mask *mask_temp;
3328     MaskRasterHandle *mr_handle;
3329
3330     mask_temp = BKE_mask_copy_nolib(mask);
3331
3332     BKE_mask_evaluate(mask_temp, mask->sfra + nr, true);
3333
3334     /* anim-data */
3335     adt = BKE_animdata_from_id(&mask->id);
3336     BKE_animsys_evaluate_animdata(
3337         context->depsgraph, context->scene, &mask_temp->id, adt, nr, ADT_RECALC_ANIM);
3338
3339     maskbuf = MEM_mallocN(sizeof(float) * context->rectx * context->recty, __func__);
3340
3341     mr_handle = BKE_maskrasterize_handle_new();
3342
3343     BKE_maskrasterize_handle_init(
3344         mr_handle, mask_temp, context->rectx, context->recty, true, true, true);
3345
3346     BKE_mask_free(mask_temp);
3347     MEM_freeN(mask_temp);
3348
3349     BKE_maskrasterize_buffer(mr_handle, context->rectx, context->recty, maskbuf);
3350
3351     BKE_maskrasterize_handle_free(mr_handle);
3352   }
3353
3354   if (make_float) {
3355     /* pixels */
3356     const float *fp_src;
3357     float *fp_dst;
3358
3359     ibuf = IMB_allocImBuf(context->rectx, context->recty, 32, IB_rectfloat);
3360
3361     fp_src = maskbuf;
3362     fp_dst = ibuf->rect_float;
3363     i = context->rectx * context->recty;
3364     while (--i) {
3365       fp_dst[0] = fp_dst[1] = fp_dst[2] = *fp_src;
3366       fp_dst[3] = 1.0f;
3367
3368       fp_src += 1;
3369       fp_dst += 4;
3370     }
3371   }
3372   else {
3373     /* pixels */
3374     const float *fp_src;
3375     unsigned char *ub_dst;
3376
3377     ibuf = IMB_allocImBuf(context->rectx, context->recty, 32, IB_rect);
3378
3379     fp_src = maskbuf;
3380     ub_dst = (unsigned char *)ibuf->rect;
3381     i = context->rectx * context->recty;
3382     while (--i) {
3383       ub_dst[0] = ub_dst[1] = ub_dst[2] = (unsigned char)(*fp_src * 255.0f); /* already clamped */
3384       ub_dst[3] = 255;
3385
3386       fp_src += 1;
3387       ub_dst += 4;
3388     }
3389   }
3390
3391   MEM_freeN(maskbuf);
3392
3393   return ibuf;
3394 }
3395
3396 static ImBuf *seq_render_mask_strip(const SeqRenderData *context, Sequence *seq, float nr)
3397 {
3398   bool make_float = (seq->flag & SEQ_MAKE_FLOAT) != 0;
3399
3400   return seq_render_mask(context, seq->mask, nr, make_float);
3401 }
3402
3403 static ImBuf *seq_render_scene_strip(const SeqRenderData *context,
3404                                      Sequence *seq,
3405                                      float nr,
3406                                      float cfra)
3407 {
3408   ImBuf *ibuf = NULL;
3409   double frame;
3410   Object *camera;
3411
3412   struct {
3413     int scemode;
3414     int cfra;
3415     float subframe;
3416
3417 #ifdef DURIAN_CAMERA_SWITCH
3418     int mode;
3419 #endif
3420   } orig_data;
3421
3422   /* Old info:
3423    * Hack! This function can be called from do_render_seq(), in that case
3424    * the seq->scene can already have a Render initialized with same name,
3425    * so we have to use a default name. (compositor uses scene name to
3426    * find render).
3427    * However, when called from within the UI (image preview in sequencer)
3428    * we do want to use scene Render, that way the render result is defined
3429    * for display in render/imagewindow
3430    *
3431    * Hmm, don't see, why we can't do that all the time,
3432    * and since G.is_rendering is uhm, gone... (Peter)
3433    */
3434
3435   /* New info:
3436    * Using the same name for the renders works just fine as the do_render_seq()
3437    * render is not used while the scene strips are rendered.
3438    *
3439    * However rendering from UI (through sequencer_preview_area_draw) can crash in
3440    * very many cases since other renders (material preview, an actual render etc.)
3441    * can be started while this sequence preview render is running. The only proper
3442    * solution is to make the sequencer preview render a proper job, which can be
3443    * stopped when needed. This would also give a nice progress bar for the preview
3444    * space so that users know there's something happening.
3445    *
3446    * As a result the active scene now only uses OpenGL rendering for the sequencer
3447    * preview. This is far from nice, but is the only way to prevent crashes at this
3448    * time.
3449    *
3450    * -jahka
3451    */
3452
3453   const bool is_rendering = G.is_rendering;
3454   const bool is_background = G.background;
3455   const bool do_seq_gl = is_rendering ? 0 : (context->scene->r.seq_prev_type) != OB_RENDER;
3456   bool have_comp = false;
3457   bool use_gpencil = true;
3458   /* do we need to re-evaluate the frame after rendering? */
3459   bool is_frame_update = false;
3460   Scene *scene;
3461   int is_thread_main = BLI_thread_is_main();
3462
3463   /* don't refer to seq->scene above this point!, it can be NULL */
3464   if (seq->scene == NULL) {
3465     return NULL;
3466   }
3467
3468   scene = seq->scene;
3469   frame = (double)scene->r.sfra + (double)nr + (double)seq->anim_startofs;
3470
3471 #if 0 /* UNUSED */
3472   have_seq = (scene->r.scemode & R_DOSEQ) && scene->ed && scene->ed->seqbase.first);
3473 #endif
3474   have_comp = (scene->r.scemode & R_DOCOMP) && scene->use_nodes && scene->nodetree;
3475
3476   /* Get view layer for the strip. */
3477   ViewLayer *view_layer = BKE_view_layer_default_render(scene);
3478   /* Depsgraph will be NULL when doing rendering. */
3479   Depsgraph *depsgraph = NULL;
3480
3481   orig_data.scemode = scene->r.scemode;
3482   orig_data.cfra = scene->r.cfra;
3483   orig_data.subframe = scene->r.subframe;
3484 #ifdef DURIAN_CAMERA_SWITCH
3485   orig_data.mode = scene->r.mode;
3486 #endif
3487
3488   BKE_scene_frame_set(scene, frame);
3489
3490   if (seq->scene_camera) {
3491     camera = seq->scene_camera;
3492   }
3493   else {
3494     BKE_scene_camera_switch_update(scene);
3495     camera = scene->camera;
3496   }
3497
3498   if (have_comp == false && camera == NULL) {
3499     goto finally;
3500   }
3501
3502   if (seq->flag & SEQ_SCENE_NO_GPENCIL) {
3503     use_gpencil = false;
3504   }
3505
3506   /* prevent eternal loop */
3507   scene->r.scemode &= ~R_DOSEQ;
3508
3509 #ifdef DURIAN_CAMERA_SWITCH
3510   /* stooping to new low's in hackyness :( */
3511   scene->r.mode |= R_NO_CAMERA_SWITCH;
3512 #endif
3513
3514   is_frame_update = (orig_data.cfra != scene->r.cfra) || (orig_data.subframe != scene->r.subframe);
3515
3516   if ((sequencer_view3d_cb && do_seq_gl && camera) && is_thread_main) {
3517     char err_out[256] = "unknown";
3518     const int width = (scene->r.xsch * scene->r.size) / 100;
3519     const int height = (scene->r.ysch * scene->r.size) / 100;
3520     const char *viewname = BKE_scene_multiview_render_view_name_get(&scene->r, context->view_id);
3521
3522     unsigned int draw_flags = V3D_OFSDRAW_NONE;
3523     draw_flags |= (use_gpencil) ? V3D_OFSDRAW_SHOW_ANNOTATION : 0;
3524     draw_flags |= (context->scene->r.seq_flag & R_SEQ_OVERRIDE_SCENE_SETTINGS) ?
3525                       V3D_OFSDRAW_OVERRIDE_SCENE_SETTINGS :
3526                       0;
3527
3528     /* for old scene this can be uninitialized,
3529      * should probably be added to do_versions at some point if the functionality stays */
3530     if (context->scene->r.seq_prev_type == 0) {
3531       context->scene->r.seq_prev_type = 3 /* == OB_SOLID */;
3532     }
3533
3534     /* opengl offscreen render */
3535     depsgraph = BKE_scene_get_depsgraph(scene, view_layer, true);
3536     BKE_scene_graph_update_for_newframe(depsgraph, context->bmain);
3537     ibuf = sequencer_view3d_cb(
3538         /* set for OpenGL render (NULL when scrubbing) */
3539         depsgraph,
3540         scene,
3541         &context->scene->display.shading,
3542         context->scene->r.seq_prev_type,
3543         camera,
3544         width,
3545         height,
3546         IB_rect,
3547         draw_flags,
3548         scene->r.alphamode,
3549         0, /* no aa samples */
3550         viewname,
3551         context->gpu_offscreen,
3552         err_out);
3553     if (ibuf == NULL) {
3554       fprintf(stderr, "seq_render_scene_strip failed to get opengl buffer: %s\n", err_out);
3555     }
3556   }
3557   else {
3558     Render *re = RE_GetSceneRender(scene);
3559     const int totviews = BKE_scene_multiview_num_views_get(&scene->r);
3560     int i;
3561     ImBuf **ibufs_arr;
3562
3563     ibufs_arr = MEM_callocN(sizeof(ImBuf *) * totviews, "Sequence Image Views Imbufs");
3564
3565     /* XXX: this if can be removed when sequence preview rendering uses the job system
3566      *
3567      * disable rendered preview for sequencer while rendering -- it's very much possible
3568      * that preview render will went into conflict with final render
3569      *
3570      * When rendering from command line renderer is called from main thread, in this
3571      * case it's always safe to render scene here
3572      */
3573     if (!is_thread_main || is_rendering == false || is_background || context->for_render) {
3574       if (re == NULL) {
3575         re = RE_NewSceneRender(scene);
3576       }
3577
3578       RE_RenderFrame(re, context->bmain, scene, view_layer, camera, frame, false);
3579
3580       /* restore previous state after it was toggled on & off by RE_RenderFrame */
3581       G.is_rendering = is_rendering;
3582     }
3583
3584     for (i = 0; i < totviews; i++) {
3585       SeqRenderData localcontext = *context;
3586       RenderResult rres;
3587
3588       localcontext.view_id = i;
3589
3590       RE_AcquireResultImage(re, &rres, i);
3591
3592       if (rres.rectf) {
3593         ibufs_arr[i] = IMB_allocImBuf(rres.rectx, rres.recty, 32, IB_rectfloat);
3594         memcpy(ibufs_arr[i]->rect_float, rres.rectf, 4 * sizeof(float) * rres.rectx * rres.recty);
3595
3596         if (rres.rectz) {
3597           addzbuffloatImBuf(ibufs_arr[i]);
3598           memcpy(ibufs_arr[i]->zbuf_float, rres.rectz, sizeof(float) * rres.rectx * rres.recty);
3599         }
3600
3601         /* float buffers in the sequencer are not linear */
3602         BKE_sequencer_imbuf_to_sequencer_space(context->scene, ibufs_arr[i], false);
3603       }
3604       else if (rres.rect32) {
3605         ibufs_arr[i] = IMB_allocImBuf(rres.rectx, rres.recty, 32, IB_rect);
3606         memcpy(ibufs_arr[i]->rect, rres.rect32, 4 * rres.rectx * rres.recty);
3607       }
3608
3609       if (i != context->view_id) {
3610         BKE_sequencer_cache_put(&localcontext, seq, cfra, SEQ_CACHE_STORE_RAW, ibufs_arr[i], 0);
3611       }
3612
3613       RE_ReleaseResultImage(re);
3614     }
3615
3616     /* return the original requested ImBuf */
3617     ibuf = ibufs_arr[context->view_id];
3618
3619     /* "remove" the others (decrease their refcount) */
3620     for (i = 0; i < totviews; i++) {
3621       if (ibufs_arr[i] != ibuf) {
3622         IMB_freeImBuf(ibufs_arr[i]);
3623       }
3624     }
3625     MEM_freeN(ibufs_arr);
3626   }
3627
3628 finally:
3629   /* restore */
3630   scene->r.scemode = orig_data.scemode;
3631   scene->r.cfra = orig_data.cfra;
3632   scene->r.subframe = orig_data.subframe;
3633
3634   if (is_frame_update && (depsgraph != NULL)) {
3635     BKE_scene_graph_update_for_newframe(depsgraph, context->bmain);
3636   }
3637
3638 #ifdef DURIAN_CAMERA_SWITCH
3639   /* stooping to new low's in hackyness :( */
3640   scene->r.mode &= orig_data.mode | ~R_NO_CAMERA_SWITCH;
3641 #endif
3642
3643   return ibuf;
3644 }
3645
3646 /**
3647  * Used for meta-strips & scenes with #SEQ_SCENE_STRIPS flag set.
3648  */
3649 static ImBuf *do_render_strip_seqbase(const SeqRenderData *context,
3650                                       SeqRenderState *state,
3651                                       Sequence *seq,
3652                                       float nr,
3653                                       bool use_preprocess)
3654 {
3655   ImBuf *meta_ibuf = NULL, *ibuf = NULL;
3656   ListBase *seqbase = NULL;
3657   int offset;
3658
3659   seqbase = BKE_sequence_seqbase_get(seq, &offset);
3660
3661   if (seqbase && !BLI_listbase_is_empty(seqbase)) {
3662
3663     if (seq->flag & SEQ_SCENE_STRIPS && seq->scene) {
3664       BKE_animsys_evaluate_all_animation(
3665           context->bmain, context->depsgraph, seq->scene, nr + offset);
3666     }
3667
3668     meta_ibuf = seq_render_strip_stack(context,
3669                                        state,
3670                                        seqbase,
3671                                        /* scene strips don't have their start taken into account */
3672                                        nr + offset,
3673                                        0);
3674   }
3675