FFmpeg: Fix integer overflow when writing custom FPS with high denominator
[blender.git] / source / blender / blenkernel / intern / writeffmpeg.c
1 /*
2  * This program is free software; you can redistribute it and/or
3  * modify it under the terms of the GNU General Public License
4  * as published by the Free Software Foundation; either version 2
5  * of the License, or (at your option) any later version.
6  *
7  * This program is distributed in the hope that it will be useful,
8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
10  * GNU General Public License for more details.
11  *
12  * You should have received a copy of the GNU General Public License
13  * along with this program; if not, write to the Free Software Foundation,
14  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
15  * Partial Copyright (c) 2006 Peter Schlaile
16  */
17
18 /** \file
19  * \ingroup bke
20  */
21
22 #ifdef WITH_FFMPEG
23 #  include <string.h>
24 #  include <stdio.h>
25
26 #  include <stdlib.h>
27
28 #  include <libavformat/avformat.h>
29 #  include <libavcodec/avcodec.h>
30 #  include <libavutil/rational.h>
31 #  include <libavutil/samplefmt.h>
32 #  include <libswscale/swscale.h>
33
34 #  include "MEM_guardedalloc.h"
35
36 #  include "DNA_scene_types.h"
37
38 #  include "BLI_blenlib.h"
39
40 #  ifdef WITH_AUDASPACE
41 #    include <AUD_Device.h>
42 #    include <AUD_Special.h>
43 #  endif
44
45 #  include "BLI_utildefines.h"
46
47 #  include "BKE_global.h"
48 #  include "BKE_idprop.h"
49 #  include "BKE_image.h"
50 #  include "BKE_library.h"
51 #  include "BKE_main.h"
52 #  include "BKE_report.h"
53 #  include "BKE_sound.h"
54 #  include "BKE_writeffmpeg.h"
55
56 #  include "IMB_imbuf.h"
57
58 #  include "ffmpeg_compat.h"
59
60 struct StampData;
61
62 typedef struct FFMpegContext {
63   int ffmpeg_type;
64   int ffmpeg_codec;
65   int ffmpeg_audio_codec;
66   int ffmpeg_video_bitrate;
67   int ffmpeg_audio_bitrate;
68   int ffmpeg_gop_size;
69   int ffmpeg_max_b_frames;
70   int ffmpeg_autosplit;
71   int ffmpeg_autosplit_count;
72   bool ffmpeg_preview;
73
74   int ffmpeg_crf;    /* set to 0 to not use CRF mode; we have another flag for lossless anyway. */
75   int ffmpeg_preset; /* see eFFMpegPreset */
76
77   AVFormatContext *outfile;
78   AVStream *video_stream;
79   AVStream *audio_stream;
80   AVFrame *current_frame;
81   struct SwsContext *img_convert_ctx;
82
83   uint8_t *audio_input_buffer;
84   uint8_t *audio_deinterleave_buffer;
85   int audio_input_samples;
86 #  ifndef FFMPEG_HAVE_ENCODE_AUDIO2
87   uint8_t *audio_output_buffer;
88   int audio_outbuf_size;
89 #  endif
90   double audio_time;
91   bool audio_deinterleave;
92   int audio_sample_size;
93
94   struct StampData *stamp_data;
95
96 #  ifdef WITH_AUDASPACE
97   AUD_Device *audio_mixdown_device;
98 #  endif
99 } FFMpegContext;
100
101 #  define FFMPEG_AUTOSPLIT_SIZE 2000000000
102
103 #  define PRINT \
104     if (G.debug & G_DEBUG_FFMPEG) \
105     printf
106
107 static void ffmpeg_dict_set_int(AVDictionary **dict, const char *key, int value);
108 static void ffmpeg_dict_set_float(AVDictionary **dict, const char *key, float value);
109 static void ffmpeg_set_expert_options(RenderData *rd);
110 static void ffmpeg_filepath_get(
111     FFMpegContext *context, char *string, struct RenderData *rd, bool preview, const char *suffix);
112
113 /* Delete a picture buffer */
114
115 static void delete_picture(AVFrame *f)
116 {
117   if (f) {
118     if (f->data[0]) {
119       MEM_freeN(f->data[0]);
120     }
121     av_free(f);
122   }
123 }
124
125 static int request_float_audio_buffer(int codec_id)
126 {
127   /* If any of these codecs, we prefer the float sample format (if supported) */
128   return codec_id == AV_CODEC_ID_AAC || codec_id == AV_CODEC_ID_AC3 ||
129          codec_id == AV_CODEC_ID_VORBIS;
130 }
131
132 #  ifdef WITH_AUDASPACE
133 static int write_audio_frame(FFMpegContext *context)
134 {
135   AVCodecContext *c = NULL;
136   AVPacket pkt;
137   AVFrame *frame = NULL;
138   int got_output = 0;
139
140   c = context->audio_stream->codec;
141
142   av_init_packet(&pkt);
143   pkt.size = 0;
144   pkt.data = NULL;
145
146   AUD_Device_read(
147       context->audio_mixdown_device, context->audio_input_buffer, context->audio_input_samples);
148   context->audio_time += (double)context->audio_input_samples / (double)c->sample_rate;
149
150 #    ifdef FFMPEG_HAVE_ENCODE_AUDIO2
151   frame = av_frame_alloc();
152   av_frame_unref(frame);
153   frame->pts = context->audio_time / av_q2d(c->time_base);
154   frame->nb_samples = context->audio_input_samples;
155   frame->format = c->sample_fmt;
156 #      ifdef FFMPEG_HAVE_FRAME_CHANNEL_LAYOUT
157   frame->channel_layout = c->channel_layout;
158 #      endif
159
160   if (context->audio_deinterleave) {
161     int channel, i;
162     uint8_t *temp;
163
164     for (channel = 0; channel < c->channels; channel++) {
165       for (i = 0; i < frame->nb_samples; i++) {
166         memcpy(context->audio_deinterleave_buffer +
167                    (i + channel * frame->nb_samples) * context->audio_sample_size,
168                context->audio_input_buffer +
169                    (c->channels * i + channel) * context->audio_sample_size,
170                context->audio_sample_size);
171       }
172     }
173
174     temp = context->audio_deinterleave_buffer;
175     context->audio_deinterleave_buffer = context->audio_input_buffer;
176     context->audio_input_buffer = temp;
177   }
178
179   avcodec_fill_audio_frame(frame,
180                            c->channels,
181                            c->sample_fmt,
182                            context->audio_input_buffer,
183                            context->audio_input_samples * c->channels * context->audio_sample_size,
184                            1);
185
186   if (avcodec_encode_audio2(c, &pkt, frame, &got_output) < 0) {
187     // XXX error("Error writing audio packet");
188     return -1;
189   }
190
191   if (!got_output) {
192     av_frame_free(&frame);
193     return 0;
194   }
195 #    else
196   pkt.size = avcodec_encode_audio(c,
197                                   context->audio_output_buffer,
198                                   context->audio_outbuf_size,
199                                   (short *)context->audio_input_buffer);
200
201   if (pkt.size < 0) {
202     // XXX error("Error writing audio packet");
203     return -1;
204   }
205
206   pkt.data = context->audio_output_buffer;
207   got_output = 1;
208 #    endif
209
210   if (got_output) {
211     if (pkt.pts != AV_NOPTS_VALUE) {
212       pkt.pts = av_rescale_q(pkt.pts, c->time_base, context->audio_stream->time_base);
213     }
214     if (pkt.dts != AV_NOPTS_VALUE) {
215       pkt.dts = av_rescale_q(pkt.dts, c->time_base, context->audio_stream->time_base);
216     }
217     if (pkt.duration > 0) {
218       pkt.duration = av_rescale_q(pkt.duration, c->time_base, context->audio_stream->time_base);
219     }
220
221     pkt.stream_index = context->audio_stream->index;
222
223     pkt.flags |= AV_PKT_FLAG_KEY;
224
225     if (av_interleaved_write_frame(context->outfile, &pkt) != 0) {
226       fprintf(stderr, "Error writing audio packet!\n");
227       if (frame) {
228         av_frame_free(&frame);
229       }
230       return -1;
231     }
232
233     av_free_packet(&pkt);
234   }
235
236   if (frame) {
237     av_frame_free(&frame);
238   }
239
240   return 0;
241 }
242 #  endif  // #ifdef WITH_AUDASPACE
243
244 /* Allocate a temporary frame */
245 static AVFrame *alloc_picture(int pix_fmt, int width, int height)
246 {
247   AVFrame *f;
248   uint8_t *buf;
249   int size;
250
251   /* allocate space for the struct */
252   f = av_frame_alloc();
253   if (!f) {
254     return NULL;
255   }
256   size = avpicture_get_size(pix_fmt, width, height);
257   /* allocate the actual picture buffer */
258   buf = MEM_mallocN(size, "AVFrame buffer");
259   if (!buf) {
260     free(f);
261     return NULL;
262   }
263   avpicture_fill((AVPicture *)f, buf, pix_fmt, width, height);
264   return f;
265 }
266
267 /* Get the correct file extensions for the requested format,
268  * first is always desired guess_format parameter */
269 static const char **get_file_extensions(int format)
270 {
271   switch (format) {
272     case FFMPEG_DV: {
273       static const char *rv[] = {".dv", NULL};
274       return rv;
275     }
276     case FFMPEG_MPEG1: {
277       static const char *rv[] = {".mpg", ".mpeg", NULL};
278       return rv;
279     }
280     case FFMPEG_MPEG2: {
281       static const char *rv[] = {".dvd", ".vob", ".mpg", ".mpeg", NULL};
282       return rv;
283     }
284     case FFMPEG_MPEG4: {
285       static const char *rv[] = {".mp4", ".mpg", ".mpeg", NULL};
286       return rv;
287     }
288     case FFMPEG_AVI: {
289       static const char *rv[] = {".avi", NULL};
290       return rv;
291     }
292     case FFMPEG_MOV: {
293       static const char *rv[] = {".mov", NULL};
294       return rv;
295     }
296     case FFMPEG_H264: {
297       /* FIXME: avi for now... */
298       static const char *rv[] = {".avi", NULL};
299       return rv;
300     }
301
302     case FFMPEG_XVID: {
303       /* FIXME: avi for now... */
304       static const char *rv[] = {".avi", NULL};
305       return rv;
306     }
307     case FFMPEG_FLV: {
308       static const char *rv[] = {".flv", NULL};
309       return rv;
310     }
311     case FFMPEG_MKV: {
312       static const char *rv[] = {".mkv", NULL};
313       return rv;
314     }
315     case FFMPEG_OGG: {
316       static const char *rv[] = {".ogv", ".ogg", NULL};
317       return rv;
318     }
319     default:
320       return NULL;
321   }
322 }
323
324 /* Write a frame to the output file */
325 static int write_video_frame(
326     FFMpegContext *context, RenderData *rd, int cfra, AVFrame *frame, ReportList *reports)
327 {
328   int got_output;
329   int ret, success = 1;
330   AVCodecContext *c = context->video_stream->codec;
331   AVPacket packet = {0};
332
333   av_init_packet(&packet);
334
335   frame->pts = cfra;
336
337   ret = avcodec_encode_video2(c, &packet, frame, &got_output);
338
339   if (ret >= 0 && got_output) {
340     if (packet.pts != AV_NOPTS_VALUE) {
341       packet.pts = av_rescale_q(packet.pts, c->time_base, context->video_stream->time_base);
342       PRINT("Video Frame PTS: %d\n", (int)packet.pts);
343     }
344     else {
345       PRINT("Video Frame PTS: not set\n");
346     }
347     if (packet.dts != AV_NOPTS_VALUE) {
348       packet.dts = av_rescale_q(packet.dts, c->time_base, context->video_stream->time_base);
349       PRINT("Video Frame DTS: %d\n", (int)packet.dts);
350     }
351     else {
352       PRINT("Video Frame DTS: not set\n");
353     }
354
355     packet.stream_index = context->video_stream->index;
356     ret = av_interleaved_write_frame(context->outfile, &packet);
357     success = (ret == 0);
358   }
359   else if (ret < 0) {
360     success = 0;
361   }
362
363   if (!success) {
364     BKE_report(reports, RPT_ERROR, "Error writing frame");
365   }
366
367   return success;
368 }
369
370 /* read and encode a frame of audio from the buffer */
371 static AVFrame *generate_video_frame(FFMpegContext *context, uint8_t *pixels, ReportList *reports)
372 {
373   uint8_t *rendered_frame;
374
375   AVCodecContext *c = context->video_stream->codec;
376   int width = c->width;
377   int height = c->height;
378   AVFrame *rgb_frame;
379
380   if (c->pix_fmt != AV_PIX_FMT_BGR32) {
381     rgb_frame = alloc_picture(AV_PIX_FMT_BGR32, width, height);
382     if (!rgb_frame) {
383       BKE_report(reports, RPT_ERROR, "Could not allocate temporary frame");
384       return NULL;
385     }
386   }
387   else {
388     rgb_frame = context->current_frame;
389   }
390
391   rendered_frame = pixels;
392
393   /* Do RGBA-conversion and flipping in one step depending
394    * on CPU-Endianess */
395
396   if (ENDIAN_ORDER == L_ENDIAN) {
397     int y;
398     for (y = 0; y < height; y++) {
399       uint8_t *target = rgb_frame->data[0] + width * 4 * (height - y - 1);
400       uint8_t *src = rendered_frame + width * 4 * y;
401       uint8_t *end = src + width * 4;
402       while (src != end) {
403         target[3] = src[3];
404         target[2] = src[2];
405         target[1] = src[1];
406         target[0] = src[0];
407
408         target += 4;
409         src += 4;
410       }
411     }
412   }
413   else {
414     int y;
415     for (y = 0; y < height; y++) {
416       uint8_t *target = rgb_frame->data[0] + width * 4 * (height - y - 1);
417       uint8_t *src = rendered_frame + width * 4 * y;
418       uint8_t *end = src + width * 4;
419       while (src != end) {
420         target[3] = src[0];
421         target[2] = src[1];
422         target[1] = src[2];
423         target[0] = src[3];
424
425         target += 4;
426         src += 4;
427       }
428     }
429   }
430
431   if (c->pix_fmt != AV_PIX_FMT_BGR32) {
432     sws_scale(context->img_convert_ctx,
433               (const uint8_t *const *)rgb_frame->data,
434               rgb_frame->linesize,
435               0,
436               c->height,
437               context->current_frame->data,
438               context->current_frame->linesize);
439     delete_picture(rgb_frame);
440   }
441
442   context->current_frame->format = AV_PIX_FMT_BGR32;
443   context->current_frame->width = width;
444   context->current_frame->height = height;
445
446   return context->current_frame;
447 }
448
449 static void set_ffmpeg_property_option(AVCodecContext *c,
450                                        IDProperty *prop,
451                                        AVDictionary **dictionary)
452 {
453   char name[128];
454   char *param;
455
456   PRINT("FFMPEG expert option: %s: ", prop->name);
457
458   BLI_strncpy(name, prop->name, sizeof(name));
459
460   param = strchr(name, ':');
461
462   if (param) {
463     *param++ = '\0';
464   }
465
466   switch (prop->type) {
467     case IDP_STRING:
468       PRINT("%s.\n", IDP_String(prop));
469       av_dict_set(dictionary, name, IDP_String(prop), 0);
470       break;
471     case IDP_FLOAT:
472       PRINT("%g.\n", IDP_Float(prop));
473       ffmpeg_dict_set_float(dictionary, prop->name, IDP_Float(prop));
474       break;
475     case IDP_INT:
476       PRINT("%d.\n", IDP_Int(prop));
477
478       if (param) {
479         if (IDP_Int(prop)) {
480           av_dict_set(dictionary, name, param, 0);
481         }
482         else {
483           return;
484         }
485       }
486       else {
487         ffmpeg_dict_set_int(dictionary, prop->name, IDP_Int(prop));
488       }
489       break;
490   }
491 }
492
493 static int ffmpeg_proprty_valid(AVCodecContext *c, const char *prop_name, IDProperty *curr)
494 {
495   int valid = 1;
496
497   if (STREQ(prop_name, "video")) {
498     if (STREQ(curr->name, "bf")) {
499       /* flash codec doesn't support b frames */
500       valid &= c->codec_id != AV_CODEC_ID_FLV1;
501     }
502   }
503
504   return valid;
505 }
506
507 static void set_ffmpeg_properties(RenderData *rd,
508                                   AVCodecContext *c,
509                                   const char *prop_name,
510                                   AVDictionary **dictionary)
511 {
512   IDProperty *prop;
513   IDProperty *curr;
514
515   /* TODO(sergey): This is actually rather stupid, because changing
516    * codec settings in render panel would also set expert options.
517    *
518    * But we need ti here in order to get rid of deprecated settings
519    * when opening old files in new blender.
520    *
521    * For as long we don't allow editing properties in the interface
522    * it's all good. bug if we allow editing them, we'll need to
523    * replace it with some smarter code which would port settings
524    * from deprecated to new one.
525    */
526   ffmpeg_set_expert_options(rd);
527
528   if (!rd->ffcodecdata.properties) {
529     return;
530   }
531
532   prop = IDP_GetPropertyFromGroup(rd->ffcodecdata.properties, prop_name);
533   if (!prop) {
534     return;
535   }
536
537   for (curr = prop->data.group.first; curr; curr = curr->next) {
538     if (ffmpeg_proprty_valid(c, prop_name, curr)) {
539       set_ffmpeg_property_option(c, curr, dictionary);
540     }
541   }
542 }
543
544 /* prepare a video stream for the output file */
545
546 static AVStream *alloc_video_stream(FFMpegContext *context,
547                                     RenderData *rd,
548                                     int codec_id,
549                                     AVFormatContext *of,
550                                     int rectx,
551                                     int recty,
552                                     char *error,
553                                     int error_size)
554 {
555   AVStream *st;
556   AVCodecContext *c;
557   AVCodec *codec;
558   AVDictionary *opts = NULL;
559
560   error[0] = '\0';
561
562   st = avformat_new_stream(of, NULL);
563   if (!st) {
564     return NULL;
565   }
566   st->id = 0;
567
568   /* Set up the codec context */
569
570   c = st->codec;
571   c->thread_count = 0;
572   c->thread_type = FF_THREAD_FRAME;
573
574   c->codec_id = codec_id;
575   c->codec_type = AVMEDIA_TYPE_VIDEO;
576
577   /* Get some values from the current render settings */
578
579   c->width = rectx;
580   c->height = recty;
581
582   /* FIXME: Really bad hack (tm) for NTSC support */
583   if (context->ffmpeg_type == FFMPEG_DV && rd->frs_sec != 25) {
584     c->time_base.den = 2997;
585     c->time_base.num = 100;
586   }
587   else if ((float)((int)rd->frs_sec_base) == rd->frs_sec_base) {
588     c->time_base.den = rd->frs_sec;
589     c->time_base.num = (int)rd->frs_sec_base;
590   }
591   else {
592     // This calculates a fraction (DENUM_MAX / num) which approximates the scene
593     // frame rate (frs_sec / frs_sec_base).
594     const double DENUM_MAX = 2147483647;
595     const double num = (DENUM_MAX / (double)rd->frs_sec) * rd->frs_sec_base;
596
597     c->time_base.den = (int)DENUM_MAX;
598     c->time_base.num = (int)num;
599   }
600
601   c->gop_size = context->ffmpeg_gop_size;
602   c->max_b_frames = context->ffmpeg_max_b_frames;
603
604   if (context->ffmpeg_crf >= 0) {
605     ffmpeg_dict_set_int(&opts, "crf", context->ffmpeg_crf);
606   }
607   else {
608     c->bit_rate = context->ffmpeg_video_bitrate * 1000;
609     c->rc_max_rate = rd->ffcodecdata.rc_max_rate * 1000;
610     c->rc_min_rate = rd->ffcodecdata.rc_min_rate * 1000;
611     c->rc_buffer_size = rd->ffcodecdata.rc_buffer_size * 1024;
612   }
613
614   if (context->ffmpeg_preset) {
615     /* 'preset' is used by h.264, 'deadline' is used by webm/vp9. I'm not
616      * setting those properties conditionally based on the video codec,
617      * as the FFmpeg encoder simply ignores unknown settings anyway. */
618     char const *preset_name = NULL;   /* used by h.264 */
619     char const *deadline_name = NULL; /* used by webm/vp9 */
620     switch (context->ffmpeg_preset) {
621       case FFM_PRESET_GOOD:
622         preset_name = "medium";
623         deadline_name = "good";
624         break;
625       case FFM_PRESET_BEST:
626         preset_name = "slower";
627         deadline_name = "best";
628         break;
629       case FFM_PRESET_REALTIME:
630         preset_name = "superfast";
631         deadline_name = "realtime";
632         break;
633       default:
634         printf("Unknown preset number %i, ignoring.\n", context->ffmpeg_preset);
635     }
636     if (preset_name != NULL) {
637       av_dict_set(&opts, "preset", preset_name, 0);
638     }
639     if (deadline_name != NULL) {
640       av_dict_set(&opts, "deadline", deadline_name, 0);
641     }
642   }
643
644   /* Deprecated and not doing anything since July 2015, deleted in recent ffmpeg */
645   // c->me_method = ME_EPZS;
646
647   codec = avcodec_find_encoder(c->codec_id);
648   if (!codec) {
649     return NULL;
650   }
651
652   /* Be sure to use the correct pixel format(e.g. RGB, YUV) */
653
654   if (codec->pix_fmts) {
655     c->pix_fmt = codec->pix_fmts[0];
656   }
657   else {
658     /* makes HuffYUV happy ... */
659     c->pix_fmt = AV_PIX_FMT_YUV422P;
660   }
661
662   if (context->ffmpeg_type == FFMPEG_XVID) {
663     /* arghhhh ... */
664     c->pix_fmt = AV_PIX_FMT_YUV420P;
665     c->codec_tag = (('D' << 24) + ('I' << 16) + ('V' << 8) + 'X');
666   }
667
668   if (codec_id == AV_CODEC_ID_H264) {
669     /* correct wrong default ffmpeg param which crash x264 */
670     c->qmin = 10;
671     c->qmax = 51;
672   }
673
674   /* Keep lossless encodes in the RGB domain. */
675   if (codec_id == AV_CODEC_ID_HUFFYUV) {
676     if (rd->im_format.planes == R_IMF_PLANES_RGBA) {
677       c->pix_fmt = AV_PIX_FMT_BGRA;
678     }
679     else {
680       c->pix_fmt = AV_PIX_FMT_RGB32;
681     }
682   }
683
684   if (codec_id == AV_CODEC_ID_FFV1) {
685     c->pix_fmt = AV_PIX_FMT_RGB32;
686   }
687
688   if (codec_id == AV_CODEC_ID_QTRLE) {
689     if (rd->im_format.planes == R_IMF_PLANES_RGBA) {
690       c->pix_fmt = AV_PIX_FMT_ARGB;
691     }
692   }
693
694   if (codec_id == AV_CODEC_ID_PNG) {
695     if (rd->im_format.planes == R_IMF_PLANES_RGBA) {
696       c->pix_fmt = AV_PIX_FMT_RGBA;
697     }
698   }
699
700   if ((of->oformat->flags & AVFMT_GLOBALHEADER)) {
701     PRINT("Using global header\n");
702     c->flags |= CODEC_FLAG_GLOBAL_HEADER;
703   }
704
705   /* xasp & yasp got float lately... */
706
707   st->sample_aspect_ratio = c->sample_aspect_ratio = av_d2q(((double)rd->xasp / (double)rd->yasp),
708                                                             255);
709   st->avg_frame_rate = av_inv_q(c->time_base);
710
711   set_ffmpeg_properties(rd, c, "video", &opts);
712
713   if (avcodec_open2(c, codec, &opts) < 0) {
714     BLI_strncpy(error, IMB_ffmpeg_last_error(), error_size);
715     av_dict_free(&opts);
716     return NULL;
717   }
718   av_dict_free(&opts);
719
720   context->current_frame = alloc_picture(c->pix_fmt, c->width, c->height);
721
722   context->img_convert_ctx = sws_getContext(c->width,
723                                             c->height,
724                                             AV_PIX_FMT_BGR32,
725                                             c->width,
726                                             c->height,
727                                             c->pix_fmt,
728                                             SWS_BICUBIC,
729                                             NULL,
730                                             NULL,
731                                             NULL);
732   return st;
733 }
734
735 static AVStream *alloc_audio_stream(FFMpegContext *context,
736                                     RenderData *rd,
737                                     int codec_id,
738                                     AVFormatContext *of,
739                                     char *error,
740                                     int error_size)
741 {
742   AVStream *st;
743   AVCodecContext *c;
744   AVCodec *codec;
745   AVDictionary *opts = NULL;
746
747   error[0] = '\0';
748
749   st = avformat_new_stream(of, NULL);
750   if (!st) {
751     return NULL;
752   }
753   st->id = 1;
754
755   c = st->codec;
756   c->thread_count = 0;
757   c->thread_type = FF_THREAD_FRAME;
758
759   c->codec_id = codec_id;
760   c->codec_type = AVMEDIA_TYPE_AUDIO;
761
762   c->sample_rate = rd->ffcodecdata.audio_mixrate;
763   c->bit_rate = context->ffmpeg_audio_bitrate * 1000;
764   c->sample_fmt = AV_SAMPLE_FMT_S16;
765   c->channels = rd->ffcodecdata.audio_channels;
766
767 #  ifdef FFMPEG_HAVE_FRAME_CHANNEL_LAYOUT
768   switch (rd->ffcodecdata.audio_channels) {
769     case FFM_CHANNELS_MONO:
770       c->channel_layout = AV_CH_LAYOUT_MONO;
771       break;
772     case FFM_CHANNELS_STEREO:
773       c->channel_layout = AV_CH_LAYOUT_STEREO;
774       break;
775     case FFM_CHANNELS_SURROUND4:
776       c->channel_layout = AV_CH_LAYOUT_QUAD;
777       break;
778     case FFM_CHANNELS_SURROUND51:
779       c->channel_layout = AV_CH_LAYOUT_5POINT1_BACK;
780       break;
781     case FFM_CHANNELS_SURROUND71:
782       c->channel_layout = AV_CH_LAYOUT_7POINT1;
783       break;
784   }
785 #  endif
786
787   if (request_float_audio_buffer(codec_id)) {
788     /* mainly for AAC codec which is experimental */
789     c->strict_std_compliance = FF_COMPLIANCE_EXPERIMENTAL;
790     c->sample_fmt = AV_SAMPLE_FMT_FLT;
791   }
792
793   codec = avcodec_find_encoder(c->codec_id);
794   if (!codec) {
795     // XXX error("Couldn't find a valid audio codec");
796     return NULL;
797   }
798
799   if (codec->sample_fmts) {
800     /* Check if the preferred sample format for this codec is supported.
801      * this is because, depending on the version of libav,
802      * and with the whole ffmpeg/libav fork situation,
803      * you have various implementations around.
804      * Float samples in particular are not always supported. */
805     const enum AVSampleFormat *p = codec->sample_fmts;
806     for (; *p != -1; p++) {
807       if (*p == st->codec->sample_fmt) {
808         break;
809       }
810     }
811     if (*p == -1) {
812       /* sample format incompatible with codec. Defaulting to a format known to work */
813       st->codec->sample_fmt = codec->sample_fmts[0];
814     }
815   }
816
817   if (codec->supported_samplerates) {
818     const int *p = codec->supported_samplerates;
819     int best = 0;
820     int best_dist = INT_MAX;
821     for (; *p; p++) {
822       int dist = abs(st->codec->sample_rate - *p);
823       if (dist < best_dist) {
824         best_dist = dist;
825         best = *p;
826       }
827     }
828     /* best is the closest supported sample rate (same as selected if best_dist == 0) */
829     st->codec->sample_rate = best;
830   }
831
832   if (of->oformat->flags & AVFMT_GLOBALHEADER) {
833     c->flags |= CODEC_FLAG_GLOBAL_HEADER;
834   }
835
836   set_ffmpeg_properties(rd, c, "audio", &opts);
837
838   if (avcodec_open2(c, codec, &opts) < 0) {
839     // XXX error("Couldn't initialize audio codec");
840     BLI_strncpy(error, IMB_ffmpeg_last_error(), error_size);
841     av_dict_free(&opts);
842     return NULL;
843   }
844   av_dict_free(&opts);
845
846   /* need to prevent floating point exception when using vorbis audio codec,
847    * initialize this value in the same way as it's done in FFmpeg itself (sergey) */
848   st->codec->time_base.num = 1;
849   st->codec->time_base.den = st->codec->sample_rate;
850
851 #  ifndef FFMPEG_HAVE_ENCODE_AUDIO2
852   context->audio_outbuf_size = FF_MIN_BUFFER_SIZE;
853 #  endif
854
855   if (c->frame_size == 0) {
856     // used to be if ((c->codec_id >= CODEC_ID_PCM_S16LE) && (c->codec_id <= CODEC_ID_PCM_DVD))
857     // not sure if that is needed anymore, so let's try out if there are any
858     // complaints regarding some ffmpeg versions users might have
859     context->audio_input_samples = FF_MIN_BUFFER_SIZE * 8 / c->bits_per_coded_sample / c->channels;
860   }
861   else {
862     context->audio_input_samples = c->frame_size;
863 #  ifndef FFMPEG_HAVE_ENCODE_AUDIO2
864     if (c->frame_size * c->channels * sizeof(int16_t) * 4 > context->audio_outbuf_size) {
865       context->audio_outbuf_size = c->frame_size * c->channels * sizeof(int16_t) * 4;
866     }
867 #  endif
868   }
869
870   context->audio_deinterleave = av_sample_fmt_is_planar(c->sample_fmt);
871
872   context->audio_sample_size = av_get_bytes_per_sample(c->sample_fmt);
873
874   context->audio_input_buffer = (uint8_t *)av_malloc(context->audio_input_samples * c->channels *
875                                                      context->audio_sample_size);
876 #  ifndef FFMPEG_HAVE_ENCODE_AUDIO2
877   context->audio_output_buffer = (uint8_t *)av_malloc(context->audio_outbuf_size);
878 #  endif
879
880   if (context->audio_deinterleave) {
881     context->audio_deinterleave_buffer = (uint8_t *)av_malloc(
882         context->audio_input_samples * c->channels * context->audio_sample_size);
883   }
884
885   context->audio_time = 0.0f;
886
887   return st;
888 }
889 /* essential functions -- start, append, end */
890
891 static void ffmpeg_dict_set_int(AVDictionary **dict, const char *key, int value)
892 {
893   char buffer[32];
894
895   BLI_snprintf(buffer, sizeof(buffer), "%d", value);
896
897   av_dict_set(dict, key, buffer, 0);
898 }
899
900 static void ffmpeg_dict_set_float(AVDictionary **dict, const char *key, float value)
901 {
902   char buffer[32];
903
904   BLI_snprintf(buffer, sizeof(buffer), "%.8f", value);
905
906   av_dict_set(dict, key, buffer, 0);
907 }
908
909 static void ffmpeg_add_metadata_callback(void *data,
910                                          const char *propname,
911                                          char *propvalue,
912                                          int len)
913 {
914   AVDictionary **metadata = (AVDictionary **)data;
915   av_dict_set(metadata, propname, propvalue, 0);
916 }
917
918 static int start_ffmpeg_impl(FFMpegContext *context,
919                              struct RenderData *rd,
920                              int rectx,
921                              int recty,
922                              const char *suffix,
923                              ReportList *reports)
924 {
925   /* Handle to the output file */
926   AVFormatContext *of;
927   AVOutputFormat *fmt;
928   AVDictionary *opts = NULL;
929   char name[FILE_MAX], error[1024];
930   const char **exts;
931
932   context->ffmpeg_type = rd->ffcodecdata.type;
933   context->ffmpeg_codec = rd->ffcodecdata.codec;
934   context->ffmpeg_audio_codec = rd->ffcodecdata.audio_codec;
935   context->ffmpeg_video_bitrate = rd->ffcodecdata.video_bitrate;
936   context->ffmpeg_audio_bitrate = rd->ffcodecdata.audio_bitrate;
937   context->ffmpeg_gop_size = rd->ffcodecdata.gop_size;
938   context->ffmpeg_autosplit = rd->ffcodecdata.flags & FFMPEG_AUTOSPLIT_OUTPUT;
939   context->ffmpeg_crf = rd->ffcodecdata.constant_rate_factor;
940   context->ffmpeg_preset = rd->ffcodecdata.ffmpeg_preset;
941
942   if ((rd->ffcodecdata.flags & FFMPEG_USE_MAX_B_FRAMES) != 0) {
943     context->ffmpeg_max_b_frames = rd->ffcodecdata.max_b_frames;
944   }
945
946   /* Determine the correct filename */
947   ffmpeg_filepath_get(context, name, rd, context->ffmpeg_preview, suffix);
948   PRINT(
949       "Starting output to %s(ffmpeg)...\n"
950       "  Using type=%d, codec=%d, audio_codec=%d,\n"
951       "  video_bitrate=%d, audio_bitrate=%d,\n"
952       "  gop_size=%d, autosplit=%d\n"
953       "  render width=%d, render height=%d\n",
954       name,
955       context->ffmpeg_type,
956       context->ffmpeg_codec,
957       context->ffmpeg_audio_codec,
958       context->ffmpeg_video_bitrate,
959       context->ffmpeg_audio_bitrate,
960       context->ffmpeg_gop_size,
961       context->ffmpeg_autosplit,
962       rectx,
963       recty);
964
965   exts = get_file_extensions(context->ffmpeg_type);
966   if (!exts) {
967     BKE_report(reports, RPT_ERROR, "No valid formats found");
968     return 0;
969   }
970   fmt = av_guess_format(NULL, exts[0], NULL);
971   if (!fmt) {
972     BKE_report(reports, RPT_ERROR, "No valid formats found");
973     return 0;
974   }
975
976   of = avformat_alloc_context();
977   if (!of) {
978     BKE_report(reports, RPT_ERROR, "Error opening output file");
979     return 0;
980   }
981
982   /* Returns after this must 'goto fail;' */
983
984   of->oformat = fmt;
985
986   /* Only bother with setting packet size & mux rate when CRF is not used. */
987   if (context->ffmpeg_crf == 0) {
988     of->packet_size = rd->ffcodecdata.mux_packet_size;
989     if (context->ffmpeg_audio_codec != AV_CODEC_ID_NONE) {
990       ffmpeg_dict_set_int(&opts, "muxrate", rd->ffcodecdata.mux_rate);
991     }
992     else {
993       av_dict_set(&opts, "muxrate", "0", 0);
994     }
995   }
996
997   ffmpeg_dict_set_int(&opts, "preload", (int)(0.5 * AV_TIME_BASE));
998
999   of->max_delay = (int)(0.7 * AV_TIME_BASE);
1000
1001   fmt->audio_codec = context->ffmpeg_audio_codec;
1002
1003   BLI_strncpy(of->filename, name, sizeof(of->filename));
1004   /* set the codec to the user's selection */
1005   switch (context->ffmpeg_type) {
1006     case FFMPEG_AVI:
1007     case FFMPEG_MOV:
1008     case FFMPEG_MKV:
1009       fmt->video_codec = context->ffmpeg_codec;
1010       break;
1011     case FFMPEG_OGG:
1012       fmt->video_codec = AV_CODEC_ID_THEORA;
1013       break;
1014     case FFMPEG_DV:
1015       fmt->video_codec = AV_CODEC_ID_DVVIDEO;
1016       break;
1017     case FFMPEG_MPEG1:
1018       fmt->video_codec = AV_CODEC_ID_MPEG1VIDEO;
1019       break;
1020     case FFMPEG_MPEG2:
1021       fmt->video_codec = AV_CODEC_ID_MPEG2VIDEO;
1022       break;
1023     case FFMPEG_H264:
1024       fmt->video_codec = AV_CODEC_ID_H264;
1025       break;
1026     case FFMPEG_XVID:
1027       fmt->video_codec = AV_CODEC_ID_MPEG4;
1028       break;
1029     case FFMPEG_FLV:
1030       fmt->video_codec = AV_CODEC_ID_FLV1;
1031       break;
1032     case FFMPEG_MPEG4:
1033     default:
1034       fmt->video_codec = context->ffmpeg_codec;
1035       break;
1036   }
1037   if (fmt->video_codec == AV_CODEC_ID_DVVIDEO) {
1038     if (rectx != 720) {
1039       BKE_report(reports, RPT_ERROR, "Render width has to be 720 pixels for DV!");
1040       goto fail;
1041     }
1042     if (rd->frs_sec != 25 && recty != 480) {
1043       BKE_report(reports, RPT_ERROR, "Render height has to be 480 pixels for DV-NTSC!");
1044       goto fail;
1045     }
1046     if (rd->frs_sec == 25 && recty != 576) {
1047       BKE_report(reports, RPT_ERROR, "Render height has to be 576 pixels for DV-PAL!");
1048       goto fail;
1049     }
1050   }
1051
1052   if (context->ffmpeg_type == FFMPEG_DV) {
1053     fmt->audio_codec = AV_CODEC_ID_PCM_S16LE;
1054     if (context->ffmpeg_audio_codec != AV_CODEC_ID_NONE &&
1055         rd->ffcodecdata.audio_mixrate != 48000 && rd->ffcodecdata.audio_channels != 2) {
1056       BKE_report(reports, RPT_ERROR, "FFMPEG only supports 48khz / stereo audio for DV!");
1057       goto fail;
1058     }
1059   }
1060
1061   if (fmt->video_codec != AV_CODEC_ID_NONE) {
1062     context->video_stream = alloc_video_stream(
1063         context, rd, fmt->video_codec, of, rectx, recty, error, sizeof(error));
1064     PRINT("alloc video stream %p\n", context->video_stream);
1065     if (!context->video_stream) {
1066       if (error[0]) {
1067         BKE_report(reports, RPT_ERROR, error);
1068       }
1069       else {
1070         BKE_report(reports, RPT_ERROR, "Error initializing video stream");
1071       }
1072       goto fail;
1073     }
1074   }
1075
1076   if (context->ffmpeg_audio_codec != AV_CODEC_ID_NONE) {
1077     context->audio_stream = alloc_audio_stream(
1078         context, rd, fmt->audio_codec, of, error, sizeof(error));
1079     if (!context->audio_stream) {
1080       if (error[0]) {
1081         BKE_report(reports, RPT_ERROR, error);
1082       }
1083       else {
1084         BKE_report(reports, RPT_ERROR, "Error initializing audio stream");
1085       }
1086       goto fail;
1087     }
1088   }
1089   if (!(fmt->flags & AVFMT_NOFILE)) {
1090     if (avio_open(&of->pb, name, AVIO_FLAG_WRITE) < 0) {
1091       BKE_report(reports, RPT_ERROR, "Could not open file for writing");
1092       goto fail;
1093     }
1094   }
1095
1096   if (context->stamp_data != NULL) {
1097     BKE_stamp_info_callback(
1098         &of->metadata, context->stamp_data, ffmpeg_add_metadata_callback, false);
1099   }
1100
1101   if (avformat_write_header(of, NULL) < 0) {
1102     BKE_report(reports,
1103                RPT_ERROR,
1104                "Could not initialize streams, probably unsupported codec combination");
1105     goto fail;
1106   }
1107
1108   context->outfile = of;
1109   av_dump_format(of, 0, name, 1);
1110   av_dict_free(&opts);
1111
1112   return 1;
1113
1114 fail:
1115   if (of->pb) {
1116     avio_close(of->pb);
1117   }
1118
1119   if (context->video_stream && context->video_stream->codec) {
1120     avcodec_close(context->video_stream->codec);
1121     context->video_stream = NULL;
1122   }
1123
1124   if (context->audio_stream && context->audio_stream->codec) {
1125     avcodec_close(context->audio_stream->codec);
1126     context->audio_stream = NULL;
1127   }
1128
1129   av_dict_free(&opts);
1130   avformat_free_context(of);
1131   return 0;
1132 }
1133
1134 /**
1135  * Writes any delayed frames in the encoder. This function is called before
1136  * closing the encoder.
1137  *
1138  * <p>
1139  * Since an encoder may use both past and future frames to predict
1140  * inter-frames (H.264 B-frames, for example), it can output the frames
1141  * in a different order from the one it was given.
1142  * For example, when sending frames 1, 2, 3, 4 to the encoder, it may write
1143  * them in the order 1, 4, 2, 3 - first the two frames used for prediction,
1144  * and then the bidirectionally-predicted frames. What this means in practice
1145  * is that the encoder may not immediately produce one output frame for each
1146  * input frame. These delayed frames must be flushed before we close the
1147  * stream. We do this by calling avcodec_encode_video with NULL for the last
1148  * parameter.
1149  * </p>
1150  */
1151 static void flush_ffmpeg(FFMpegContext *context)
1152 {
1153   int ret = 0;
1154
1155   AVCodecContext *c = context->video_stream->codec;
1156   /* get the delayed frames */
1157   while (1) {
1158     int got_output;
1159     AVPacket packet = {0};
1160     av_init_packet(&packet);
1161
1162     ret = avcodec_encode_video2(c, &packet, NULL, &got_output);
1163     if (ret < 0) {
1164       fprintf(stderr, "Error encoding delayed frame %d\n", ret);
1165       break;
1166     }
1167     if (!got_output) {
1168       break;
1169     }
1170     if (packet.pts != AV_NOPTS_VALUE) {
1171       packet.pts = av_rescale_q(packet.pts, c->time_base, context->video_stream->time_base);
1172       PRINT("Video Frame PTS: %d\n", (int)packet.pts);
1173     }
1174     else {
1175       PRINT("Video Frame PTS: not set\n");
1176     }
1177     if (packet.dts != AV_NOPTS_VALUE) {
1178       packet.dts = av_rescale_q(packet.dts, c->time_base, context->video_stream->time_base);
1179       PRINT("Video Frame DTS: %d\n", (int)packet.dts);
1180     }
1181     else {
1182       PRINT("Video Frame DTS: not set\n");
1183     }
1184
1185     packet.stream_index = context->video_stream->index;
1186     ret = av_interleaved_write_frame(context->outfile, &packet);
1187     if (ret != 0) {
1188       fprintf(stderr, "Error writing delayed frame %d\n", ret);
1189       break;
1190     }
1191   }
1192   avcodec_flush_buffers(context->video_stream->codec);
1193 }
1194
1195 /* **********************************************************************
1196  * * public interface
1197  * ********************************************************************** */
1198
1199 /* Get the output filename-- similar to the other output formats */
1200 static void ffmpeg_filepath_get(
1201     FFMpegContext *context, char *string, RenderData *rd, bool preview, const char *suffix)
1202 {
1203   char autosplit[20];
1204
1205   const char **exts = get_file_extensions(rd->ffcodecdata.type);
1206   const char **fe = exts;
1207   int sfra, efra;
1208
1209   if (!string || !exts) {
1210     return;
1211   }
1212
1213   if (preview) {
1214     sfra = rd->psfra;
1215     efra = rd->pefra;
1216   }
1217   else {
1218     sfra = rd->sfra;
1219     efra = rd->efra;
1220   }
1221
1222   strcpy(string, rd->pic);
1223   BLI_path_abs(string, BKE_main_blendfile_path_from_global());
1224
1225   BLI_make_existing_file(string);
1226
1227   autosplit[0] = '\0';
1228
1229   if ((rd->ffcodecdata.flags & FFMPEG_AUTOSPLIT_OUTPUT) != 0) {
1230     if (context) {
1231       sprintf(autosplit, "_%03d", context->ffmpeg_autosplit_count);
1232     }
1233   }
1234
1235   if (rd->scemode & R_EXTENSION) {
1236     while (*fe) {
1237       if (BLI_strcasecmp(string + strlen(string) - strlen(*fe), *fe) == 0) {
1238         break;
1239       }
1240       fe++;
1241     }
1242
1243     if (*fe == NULL) {
1244       strcat(string, autosplit);
1245
1246       BLI_path_frame_range(string, sfra, efra, 4);
1247       strcat(string, *exts);
1248     }
1249     else {
1250       *(string + strlen(string) - strlen(*fe)) = '\0';
1251       strcat(string, autosplit);
1252       strcat(string, *fe);
1253     }
1254   }
1255   else {
1256     if (BLI_path_frame_check_chars(string)) {
1257       BLI_path_frame_range(string, sfra, efra, 4);
1258     }
1259
1260     strcat(string, autosplit);
1261   }
1262
1263   BLI_path_suffix(string, FILE_MAX, suffix, "");
1264 }
1265
1266 void BKE_ffmpeg_filepath_get(char *string, RenderData *rd, bool preview, const char *suffix)
1267 {
1268   ffmpeg_filepath_get(NULL, string, rd, preview, suffix);
1269 }
1270
1271 int BKE_ffmpeg_start(void *context_v,
1272                      struct Scene *scene,
1273                      RenderData *rd,
1274                      int rectx,
1275                      int recty,
1276                      ReportList *reports,
1277                      bool preview,
1278                      const char *suffix)
1279 {
1280   int success;
1281   FFMpegContext *context = context_v;
1282
1283   context->ffmpeg_autosplit_count = 0;
1284   context->ffmpeg_preview = preview;
1285   context->stamp_data = BKE_stamp_info_from_scene_static(scene);
1286
1287   success = start_ffmpeg_impl(context, rd, rectx, recty, suffix, reports);
1288 #  ifdef WITH_AUDASPACE
1289   if (context->audio_stream) {
1290     AVCodecContext *c = context->audio_stream->codec;
1291     AUD_DeviceSpecs specs;
1292     specs.channels = c->channels;
1293
1294     switch (av_get_packed_sample_fmt(c->sample_fmt)) {
1295       case AV_SAMPLE_FMT_U8:
1296         specs.format = AUD_FORMAT_U8;
1297         break;
1298       case AV_SAMPLE_FMT_S16:
1299         specs.format = AUD_FORMAT_S16;
1300         break;
1301       case AV_SAMPLE_FMT_S32:
1302         specs.format = AUD_FORMAT_S32;
1303         break;
1304       case AV_SAMPLE_FMT_FLT:
1305         specs.format = AUD_FORMAT_FLOAT32;
1306         break;
1307       case AV_SAMPLE_FMT_DBL:
1308         specs.format = AUD_FORMAT_FLOAT64;
1309         break;
1310       default:
1311         return -31415;
1312     }
1313
1314     specs.rate = rd->ffcodecdata.audio_mixrate;
1315     context->audio_mixdown_device = BKE_sound_mixdown(
1316         scene, specs, preview ? rd->psfra : rd->sfra, rd->ffcodecdata.audio_volume);
1317 #    ifdef FFMPEG_CODEC_TIME_BASE
1318     c->time_base.den = specs.rate;
1319     c->time_base.num = 1;
1320 #    endif
1321   }
1322 #  endif
1323   return success;
1324 }
1325
1326 static void end_ffmpeg_impl(FFMpegContext *context, int is_autosplit);
1327
1328 #  ifdef WITH_AUDASPACE
1329 static void write_audio_frames(FFMpegContext *context, double to_pts)
1330 {
1331   int finished = 0;
1332
1333   while (context->audio_stream && !finished) {
1334     if ((context->audio_time >= to_pts) || (write_audio_frame(context))) {
1335       finished = 1;
1336     }
1337   }
1338 }
1339 #  endif
1340
1341 int BKE_ffmpeg_append(void *context_v,
1342                       RenderData *rd,
1343                       int start_frame,
1344                       int frame,
1345                       int *pixels,
1346                       int rectx,
1347                       int recty,
1348                       const char *suffix,
1349                       ReportList *reports)
1350 {
1351   FFMpegContext *context = context_v;
1352   AVFrame *avframe;
1353   int success = 1;
1354
1355   PRINT("Writing frame %i, render width=%d, render height=%d\n", frame, rectx, recty);
1356
1357   /* why is this done before writing the video frame and again at end_ffmpeg? */
1358   //  write_audio_frames(frame / (((double)rd->frs_sec) / rd->frs_sec_base));
1359
1360   if (context->video_stream) {
1361     avframe = generate_video_frame(context, (unsigned char *)pixels, reports);
1362     success = (avframe && write_video_frame(context, rd, frame - start_frame, avframe, reports));
1363
1364     if (context->ffmpeg_autosplit) {
1365       if (avio_tell(context->outfile->pb) > FFMPEG_AUTOSPLIT_SIZE) {
1366         end_ffmpeg_impl(context, true);
1367         context->ffmpeg_autosplit_count++;
1368         success &= start_ffmpeg_impl(context, rd, rectx, recty, suffix, reports);
1369       }
1370     }
1371   }
1372
1373 #  ifdef WITH_AUDASPACE
1374   write_audio_frames(context,
1375                      (frame - start_frame) / (((double)rd->frs_sec) / (double)rd->frs_sec_base));
1376 #  endif
1377   return success;
1378 }
1379
1380 static void end_ffmpeg_impl(FFMpegContext *context, int is_autosplit)
1381 {
1382   PRINT("Closing ffmpeg...\n");
1383
1384 #  ifdef WITH_AUDASPACE
1385   if (is_autosplit == false) {
1386     if (context->audio_mixdown_device) {
1387       AUD_Device_free(context->audio_mixdown_device);
1388       context->audio_mixdown_device = NULL;
1389     }
1390   }
1391 #  endif
1392
1393   if (context->video_stream && context->video_stream->codec) {
1394     PRINT("Flushing delayed frames...\n");
1395     flush_ffmpeg(context);
1396   }
1397
1398   if (context->outfile) {
1399     av_write_trailer(context->outfile);
1400   }
1401
1402   /* Close the video codec */
1403
1404   if (context->video_stream != NULL && context->video_stream->codec != NULL) {
1405     avcodec_close(context->video_stream->codec);
1406     PRINT("zero video stream %p\n", context->video_stream);
1407     context->video_stream = NULL;
1408   }
1409
1410   if (context->audio_stream != NULL && context->audio_stream->codec != NULL) {
1411     avcodec_close(context->audio_stream->codec);
1412     context->audio_stream = NULL;
1413   }
1414
1415   /* free the temp buffer */
1416   if (context->current_frame != NULL) {
1417     delete_picture(context->current_frame);
1418     context->current_frame = NULL;
1419   }
1420   if (context->outfile != NULL && context->outfile->oformat) {
1421     if (!(context->outfile->oformat->flags & AVFMT_NOFILE)) {
1422       avio_close(context->outfile->pb);
1423     }
1424   }
1425   if (context->outfile != NULL) {
1426     avformat_free_context(context->outfile);
1427     context->outfile = NULL;
1428   }
1429   if (context->audio_input_buffer != NULL) {
1430     av_free(context->audio_input_buffer);
1431     context->audio_input_buffer = NULL;
1432   }
1433 #  ifndef FFMPEG_HAVE_ENCODE_AUDIO2
1434   if (context->audio_output_buffer != NULL) {
1435     av_free(context->audio_output_buffer);
1436     context->audio_output_buffer = NULL;
1437   }
1438 #  endif
1439
1440   if (context->audio_deinterleave_buffer != NULL) {
1441     av_free(context->audio_deinterleave_buffer);
1442     context->audio_deinterleave_buffer = NULL;
1443   }
1444
1445   if (context->img_convert_ctx != NULL) {
1446     sws_freeContext(context->img_convert_ctx);
1447     context->img_convert_ctx = NULL;
1448   }
1449 }
1450
1451 void BKE_ffmpeg_end(void *context_v)
1452 {
1453   FFMpegContext *context = context_v;
1454   end_ffmpeg_impl(context, false);
1455 }
1456
1457 /* properties */
1458
1459 void BKE_ffmpeg_property_del(RenderData *rd, void *type, void *prop_)
1460 {
1461   struct IDProperty *prop = (struct IDProperty *)prop_;
1462   IDProperty *group;
1463
1464   if (!rd->ffcodecdata.properties) {
1465     return;
1466   }
1467
1468   group = IDP_GetPropertyFromGroup(rd->ffcodecdata.properties, type);
1469   if (group && prop) {
1470     IDP_FreeFromGroup(group, prop);
1471   }
1472 }
1473
1474 static IDProperty *BKE_ffmpeg_property_add(RenderData *rd,
1475                                            const char *type,
1476                                            const AVOption *o,
1477                                            const AVOption *parent)
1478 {
1479   AVCodecContext c;
1480   IDProperty *group;
1481   IDProperty *prop;
1482   IDPropertyTemplate val;
1483   int idp_type;
1484   char name[256];
1485
1486   val.i = 0;
1487
1488   avcodec_get_context_defaults3(&c, NULL);
1489
1490   if (!rd->ffcodecdata.properties) {
1491     rd->ffcodecdata.properties = IDP_New(IDP_GROUP, &val, "ffmpeg");
1492   }
1493
1494   group = IDP_GetPropertyFromGroup(rd->ffcodecdata.properties, type);
1495
1496   if (!group) {
1497     group = IDP_New(IDP_GROUP, &val, type);
1498     IDP_AddToGroup(rd->ffcodecdata.properties, group);
1499   }
1500
1501   if (parent) {
1502     BLI_snprintf(name, sizeof(name), "%s:%s", parent->name, o->name);
1503   }
1504   else {
1505     BLI_strncpy(name, o->name, sizeof(name));
1506   }
1507
1508   PRINT("ffmpeg_property_add: %s %s\n", type, name);
1509
1510   prop = IDP_GetPropertyFromGroup(group, name);
1511   if (prop) {
1512     return prop;
1513   }
1514
1515   switch (o->type) {
1516     case AV_OPT_TYPE_INT:
1517     case AV_OPT_TYPE_INT64:
1518       val.i = FFMPEG_DEF_OPT_VAL_INT(o);
1519       idp_type = IDP_INT;
1520       break;
1521     case AV_OPT_TYPE_DOUBLE:
1522     case AV_OPT_TYPE_FLOAT:
1523       val.f = FFMPEG_DEF_OPT_VAL_DOUBLE(o);
1524       idp_type = IDP_FLOAT;
1525       break;
1526     case AV_OPT_TYPE_STRING:
1527       val.string.str =
1528           (char
1529                *)"                                                                               ";
1530       val.string.len = 80;
1531       idp_type = IDP_STRING;
1532       break;
1533     case AV_OPT_TYPE_CONST:
1534       val.i = 1;
1535       idp_type = IDP_INT;
1536       break;
1537     default:
1538       return NULL;
1539   }
1540   prop = IDP_New(idp_type, &val, name);
1541   IDP_AddToGroup(group, prop);
1542   return prop;
1543 }
1544
1545 /* not all versions of ffmpeg include that, so here we go ... */
1546
1547 int BKE_ffmpeg_property_add_string(RenderData *rd, const char *type, const char *str)
1548 {
1549   AVCodecContext c;
1550   const AVOption *o = NULL;
1551   const AVOption *p = NULL;
1552   char name_[128];
1553   char *name;
1554   char *param;
1555   IDProperty *prop = NULL;
1556
1557   avcodec_get_context_defaults3(&c, NULL);
1558
1559   BLI_strncpy(name_, str, sizeof(name_));
1560
1561   name = name_;
1562   while (*name == ' ') {
1563     name++;
1564   }
1565
1566   param = strchr(name, ':');
1567
1568   if (!param) {
1569     param = strchr(name, ' ');
1570   }
1571   if (param) {
1572     *param++ = '\0';
1573     while (*param == ' ') {
1574       param++;
1575     }
1576   }
1577
1578   o = av_opt_find(&c, name, NULL, 0, AV_OPT_SEARCH_CHILDREN | AV_OPT_SEARCH_FAKE_OBJ);
1579   if (!o) {
1580     PRINT("Ignoring unknown expert option %s\n", str);
1581     return 0;
1582   }
1583   if (param && o->type == AV_OPT_TYPE_CONST) {
1584     return 0;
1585   }
1586   if (param && o->type != AV_OPT_TYPE_CONST && o->unit) {
1587     p = av_opt_find(&c, param, o->unit, 0, AV_OPT_SEARCH_CHILDREN | AV_OPT_SEARCH_FAKE_OBJ);
1588     if (p) {
1589       prop = BKE_ffmpeg_property_add(rd, (char *)type, p, o);
1590     }
1591     else {
1592       PRINT("Ignoring unknown expert option %s\n", str);
1593     }
1594   }
1595   else {
1596     prop = BKE_ffmpeg_property_add(rd, (char *)type, o, NULL);
1597   }
1598
1599   if (!prop) {
1600     return 0;
1601   }
1602
1603   if (param && !p) {
1604     switch (prop->type) {
1605       case IDP_INT:
1606         IDP_Int(prop) = atoi(param);
1607         break;
1608       case IDP_FLOAT:
1609         IDP_Float(prop) = atof(param);
1610         break;
1611       case IDP_STRING:
1612         strncpy(IDP_String(prop), param, prop->len);
1613         break;
1614     }
1615   }
1616   return 1;
1617 }
1618
1619 static void ffmpeg_set_expert_options(RenderData *rd)
1620 {
1621   int codec_id = rd->ffcodecdata.codec;
1622
1623   if (rd->ffcodecdata.properties) {
1624     IDP_FreePropertyContent(rd->ffcodecdata.properties);
1625   }
1626
1627   if (codec_id == AV_CODEC_ID_H264) {
1628     /*
1629      * All options here are for x264, but must be set via ffmpeg.
1630      * The names are therefore different - Search for "x264 to FFmpeg option mapping"
1631      * to get a list.
1632      */
1633
1634     /*
1635      * Use CABAC coder. Using "coder:1", which should be equivalent,
1636      * crashes Blender for some reason. Either way - this is no big deal.
1637      */
1638     BKE_ffmpeg_property_add_string(rd, "video", "coder:vlc");
1639
1640     /*
1641      * The other options were taken from the libx264-default.preset
1642      * included in the ffmpeg distribution.
1643      */
1644
1645     /* This breaks compatibility for QT. */
1646     // BKE_ffmpeg_property_add_string(rd, "video", "flags:loop");
1647     BKE_ffmpeg_property_add_string(rd, "video", "cmp:chroma");
1648     BKE_ffmpeg_property_add_string(rd, "video", "partitions:parti4x4");  // Deprecated.
1649     BKE_ffmpeg_property_add_string(rd, "video", "partitions:partp8x8");  // Deprecated.
1650     BKE_ffmpeg_property_add_string(rd, "video", "partitions:partb8x8");  // Deprecated.
1651     BKE_ffmpeg_property_add_string(rd, "video", "me:hex");
1652     BKE_ffmpeg_property_add_string(rd, "video", "subq:6");
1653     BKE_ffmpeg_property_add_string(rd, "video", "me_range:16");
1654     BKE_ffmpeg_property_add_string(rd, "video", "qdiff:4");
1655     BKE_ffmpeg_property_add_string(rd, "video", "keyint_min:25");
1656     BKE_ffmpeg_property_add_string(rd, "video", "sc_threshold:40");
1657     BKE_ffmpeg_property_add_string(rd, "video", "i_qfactor:0.71");
1658     BKE_ffmpeg_property_add_string(rd, "video", "b_strategy:1");
1659     BKE_ffmpeg_property_add_string(rd, "video", "bf:3");
1660     BKE_ffmpeg_property_add_string(rd, "video", "refs:2");
1661     BKE_ffmpeg_property_add_string(rd, "video", "qcomp:0.6");
1662
1663     BKE_ffmpeg_property_add_string(rd, "video", "trellis:0");
1664     BKE_ffmpeg_property_add_string(rd, "video", "weightb:1");
1665 #  ifdef FFMPEG_HAVE_DEPRECATED_FLAGS2
1666     BKE_ffmpeg_property_add_string(rd, "video", "flags2:dct8x8");
1667     BKE_ffmpeg_property_add_string(rd, "video", "directpred:3");
1668     BKE_ffmpeg_property_add_string(rd, "video", "flags2:fastpskip");
1669     BKE_ffmpeg_property_add_string(rd, "video", "flags2:wpred");
1670 #  else
1671     BKE_ffmpeg_property_add_string(rd, "video", "8x8dct:1");
1672     BKE_ffmpeg_property_add_string(rd, "video", "fast-pskip:1");
1673     BKE_ffmpeg_property_add_string(rd, "video", "wpredp:2");
1674 #  endif
1675   }
1676   else if (codec_id == AV_CODEC_ID_DNXHD) {
1677     if (rd->ffcodecdata.flags & FFMPEG_LOSSLESS_OUTPUT) {
1678       BKE_ffmpeg_property_add_string(rd, "video", "mbd:rd");
1679     }
1680   }
1681 }
1682
1683 void BKE_ffmpeg_preset_set(RenderData *rd, int preset)
1684 {
1685   int isntsc = (rd->frs_sec != 25);
1686
1687   if (rd->ffcodecdata.properties) {
1688     IDP_FreePropertyContent(rd->ffcodecdata.properties);
1689   }
1690
1691   switch (preset) {
1692     case FFMPEG_PRESET_VCD:
1693       rd->ffcodecdata.type = FFMPEG_MPEG1;
1694       rd->ffcodecdata.video_bitrate = 1150;
1695       rd->xsch = 352;
1696       rd->ysch = isntsc ? 240 : 288;
1697       rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1698       rd->ffcodecdata.rc_max_rate = 1150;
1699       rd->ffcodecdata.rc_min_rate = 1150;
1700       rd->ffcodecdata.rc_buffer_size = 40 * 8;
1701       rd->ffcodecdata.mux_packet_size = 2324;
1702       rd->ffcodecdata.mux_rate = 2352 * 75 * 8;
1703       break;
1704
1705     case FFMPEG_PRESET_SVCD:
1706       rd->ffcodecdata.type = FFMPEG_MPEG2;
1707       rd->ffcodecdata.video_bitrate = 2040;
1708       rd->xsch = 480;
1709       rd->ysch = isntsc ? 480 : 576;
1710       rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1711       rd->ffcodecdata.rc_max_rate = 2516;
1712       rd->ffcodecdata.rc_min_rate = 0;
1713       rd->ffcodecdata.rc_buffer_size = 224 * 8;
1714       rd->ffcodecdata.mux_packet_size = 2324;
1715       rd->ffcodecdata.mux_rate = 0;
1716       break;
1717
1718     case FFMPEG_PRESET_DVD:
1719       rd->ffcodecdata.type = FFMPEG_MPEG2;
1720       rd->ffcodecdata.video_bitrate = 6000;
1721
1722       /* Don't set resolution, see [#21351]
1723        * rd->xsch = 720;
1724        * rd->ysch = isntsc ? 480 : 576; */
1725
1726       rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1727       rd->ffcodecdata.rc_max_rate = 9000;
1728       rd->ffcodecdata.rc_min_rate = 0;
1729       rd->ffcodecdata.rc_buffer_size = 224 * 8;
1730       rd->ffcodecdata.mux_packet_size = 2048;
1731       rd->ffcodecdata.mux_rate = 10080000;
1732       break;
1733
1734     case FFMPEG_PRESET_DV:
1735       rd->ffcodecdata.type = FFMPEG_DV;
1736       rd->xsch = 720;
1737       rd->ysch = isntsc ? 480 : 576;
1738       break;
1739
1740     case FFMPEG_PRESET_H264:
1741       rd->ffcodecdata.type = FFMPEG_AVI;
1742       rd->ffcodecdata.codec = AV_CODEC_ID_H264;
1743       rd->ffcodecdata.video_bitrate = 6000;
1744       rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1745       rd->ffcodecdata.rc_max_rate = 9000;
1746       rd->ffcodecdata.rc_min_rate = 0;
1747       rd->ffcodecdata.rc_buffer_size = 224 * 8;
1748       rd->ffcodecdata.mux_packet_size = 2048;
1749       rd->ffcodecdata.mux_rate = 10080000;
1750
1751       break;
1752
1753     case FFMPEG_PRESET_THEORA:
1754     case FFMPEG_PRESET_XVID:
1755       if (preset == FFMPEG_PRESET_XVID) {
1756         rd->ffcodecdata.type = FFMPEG_AVI;
1757         rd->ffcodecdata.codec = AV_CODEC_ID_MPEG4;
1758       }
1759       else if (preset == FFMPEG_PRESET_THEORA) {
1760         rd->ffcodecdata.type = FFMPEG_OGG;  // XXX broken
1761         rd->ffcodecdata.codec = AV_CODEC_ID_THEORA;
1762       }
1763
1764       rd->ffcodecdata.video_bitrate = 6000;
1765       rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1766       rd->ffcodecdata.rc_max_rate = 9000;
1767       rd->ffcodecdata.rc_min_rate = 0;
1768       rd->ffcodecdata.rc_buffer_size = 224 * 8;
1769       rd->ffcodecdata.mux_packet_size = 2048;
1770       rd->ffcodecdata.mux_rate = 10080000;
1771       break;
1772   }
1773
1774   ffmpeg_set_expert_options(rd);
1775 }
1776
1777 void BKE_ffmpeg_image_type_verify(RenderData *rd, ImageFormatData *imf)
1778 {
1779   int audio = 0;
1780
1781   if (imf->imtype == R_IMF_IMTYPE_FFMPEG) {
1782     if (rd->ffcodecdata.type <= 0 || rd->ffcodecdata.codec <= 0 ||
1783         rd->ffcodecdata.audio_codec <= 0 || rd->ffcodecdata.video_bitrate <= 1) {
1784       BKE_ffmpeg_preset_set(rd, FFMPEG_PRESET_H264);
1785       rd->ffcodecdata.constant_rate_factor = FFM_CRF_MEDIUM;
1786       rd->ffcodecdata.ffmpeg_preset = FFM_PRESET_GOOD;
1787       rd->ffcodecdata.type = FFMPEG_MKV;
1788     }
1789     if (rd->ffcodecdata.type == FFMPEG_OGG) {
1790       rd->ffcodecdata.type = FFMPEG_MPEG2;
1791     }
1792
1793     audio = 1;
1794   }
1795   else if (imf->imtype == R_IMF_IMTYPE_H264) {
1796     if (rd->ffcodecdata.codec != AV_CODEC_ID_H264) {
1797       BKE_ffmpeg_preset_set(rd, FFMPEG_PRESET_H264);
1798       audio = 1;
1799     }
1800   }
1801   else if (imf->imtype == R_IMF_IMTYPE_XVID) {
1802     if (rd->ffcodecdata.codec != AV_CODEC_ID_MPEG4) {
1803       BKE_ffmpeg_preset_set(rd, FFMPEG_PRESET_XVID);
1804       audio = 1;
1805     }
1806   }
1807   else if (imf->imtype == R_IMF_IMTYPE_THEORA) {
1808     if (rd->ffcodecdata.codec != AV_CODEC_ID_THEORA) {
1809       BKE_ffmpeg_preset_set(rd, FFMPEG_PRESET_THEORA);
1810       audio = 1;
1811     }
1812   }
1813
1814   if (audio && rd->ffcodecdata.audio_codec < 0) {
1815     rd->ffcodecdata.audio_codec = AV_CODEC_ID_NONE;
1816     rd->ffcodecdata.audio_bitrate = 128;
1817   }
1818 }
1819
1820 void BKE_ffmpeg_codec_settings_verify(RenderData *rd)
1821 {
1822   ffmpeg_set_expert_options(rd);
1823 }
1824
1825 bool BKE_ffmpeg_alpha_channel_is_supported(RenderData *rd)
1826 {
1827   int codec = rd->ffcodecdata.codec;
1828
1829   if (codec == AV_CODEC_ID_QTRLE) {
1830     return true;
1831   }
1832
1833   if (codec == AV_CODEC_ID_PNG) {
1834     return true;
1835   }
1836
1837   if (codec == AV_CODEC_ID_HUFFYUV) {
1838     return true;
1839   }
1840
1841 #  ifdef FFMPEG_FFV1_ALPHA_SUPPORTED
1842   if (codec == AV_CODEC_ID_FFV1) {
1843     return true;
1844   }
1845 #  endif
1846
1847   return false;
1848 }
1849
1850 void *BKE_ffmpeg_context_create(void)
1851 {
1852   FFMpegContext *context;
1853
1854   /* new ffmpeg data struct */
1855   context = MEM_callocN(sizeof(FFMpegContext), "new ffmpeg context");
1856
1857   context->ffmpeg_codec = AV_CODEC_ID_MPEG4;
1858   context->ffmpeg_audio_codec = AV_CODEC_ID_NONE;
1859   context->ffmpeg_video_bitrate = 1150;
1860   context->ffmpeg_audio_bitrate = 128;
1861   context->ffmpeg_gop_size = 12;
1862   context->ffmpeg_autosplit = 0;
1863   context->ffmpeg_autosplit_count = 0;
1864   context->ffmpeg_preview = false;
1865   context->stamp_data = NULL;
1866
1867   return context;
1868 }
1869
1870 void BKE_ffmpeg_context_free(void *context_v)
1871 {
1872   FFMpegContext *context = context_v;
1873   if (context == NULL) {
1874     return;
1875   }
1876   if (context->stamp_data) {
1877     MEM_freeN(context->stamp_data);
1878   }
1879   MEM_freeN(context);
1880 }
1881
1882 #endif /* WITH_FFMPEG */