dbb4bd48629fd43e72cbb46114206d937df6d787
[blender-staging.git] / source / blender / blenkernel / intern / writeffmpeg.c
1 /** \file blender/blenkernel/intern/writeffmpeg.c
2  *  \ingroup bke
3  */
4 /*
5  * $Id$
6  *
7  * ffmpeg-write support
8  *
9  * Partial Copyright (c) 2006 Peter Schlaile
10  *
11  * This program is free software; you can redistribute it and/or modify
12  * it under the terms of the GNU General Public License as published by
13  * the Free Software Foundation; either version 2 of the License, or
14  * (at your option) any later version.
15  *
16  * This program is distributed in the hope that it will be useful,
17  * but WITHOUT ANY WARRANTY; without even the implied warranty of
18  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19  * GNU General Public License for more details.
20  *
21  */
22
23 #ifdef WITH_FFMPEG
24 #include <string.h>
25 #include <stdio.h>
26
27 #if defined(_WIN32) && defined(DEBUG) && !defined(__MINGW32__) && !defined(__CYGWIN__)
28 /* This does not seem necessary or present on MSVC 8, but may be needed in earlier versions? */
29 #if _MSC_VER < 1400
30 #include <stdint.h>
31 #endif
32 #endif
33
34 #include <stdlib.h>
35
36 #include <libavformat/avformat.h>
37 #include <libavcodec/avcodec.h>
38 #include <libavutil/rational.h>
39 #include <libswscale/swscale.h>
40 #include <libavcodec/opt.h>
41
42 #if defined(WIN32) && (!(defined snprintf))
43 #define snprintf _snprintf
44 #endif
45
46 #include "MEM_guardedalloc.h"
47
48 #include "DNA_scene_types.h"
49
50 #include "BLI_blenlib.h"
51
52 #include "AUD_C-API.h" /* must be before BKE_sound.h for define */
53
54 #include "BKE_global.h"
55 #include "BKE_idprop.h"
56 #include "BKE_main.h"
57 #include "BKE_report.h"
58 #include "BKE_sound.h"
59 #include "BKE_writeffmpeg.h"
60
61 #include "IMB_imbuf_types.h"
62 #include "IMB_imbuf.h"
63
64 extern void do_init_ffmpeg(void);
65
66 static int ffmpeg_type = 0;
67 static int ffmpeg_codec = CODEC_ID_MPEG4;
68 static int ffmpeg_audio_codec = CODEC_ID_NONE;
69 static int ffmpeg_video_bitrate = 1150;
70 static int ffmpeg_audio_bitrate = 128;
71 static int ffmpeg_gop_size = 12;
72 static int ffmpeg_autosplit = 0;
73 static int ffmpeg_autosplit_count = 0;
74
75 static AVFormatContext* outfile = 0;
76 static AVStream* video_stream = 0;
77 static AVStream* audio_stream = 0;
78 static AVFrame* current_frame = 0;
79 static struct SwsContext *img_convert_ctx = 0;
80
81 static uint8_t* video_buffer = 0;
82 static int video_buffersize = 0;
83
84 static uint8_t* audio_input_buffer = 0;
85 static int audio_input_samples = 0;
86 static uint8_t* audio_output_buffer = 0;
87 static int audio_outbuf_size = 0;
88 static double audio_time = 0.0f;
89
90 static AUD_Device* audio_mixdown_device = 0;
91
92 #define FFMPEG_AUTOSPLIT_SIZE 2000000000
93
94 /* Delete a picture buffer */
95
96 static void delete_picture(AVFrame* f)
97 {
98         if (f) {
99                 if (f->data[0]) MEM_freeN(f->data[0]);
100                 av_free(f);
101         }
102 }
103
104 static int write_audio_frame(void) 
105 {
106         AVCodecContext* c = NULL;
107         AVPacket pkt;
108
109         c = audio_stream->codec;
110
111         av_init_packet(&pkt);
112         pkt.size = 0;
113
114         AUD_readDevice(audio_mixdown_device, audio_input_buffer, audio_input_samples);
115         audio_time += (double) audio_input_samples / (double) c->sample_rate;
116
117         pkt.size = avcodec_encode_audio(c, audio_output_buffer,
118                                         audio_outbuf_size,
119                                         (short*) audio_input_buffer);
120
121         if(pkt.size < 0)
122         {
123                 // XXX error("Error writing audio packet");
124                 return -1;
125         }
126
127         pkt.data = audio_output_buffer;
128
129         if(c->coded_frame && c->coded_frame->pts != AV_NOPTS_VALUE)
130         {
131                 pkt.pts = av_rescale_q(c->coded_frame->pts,
132                                        c->time_base, audio_stream->time_base);
133                 fprintf(stderr, "Audio Frame PTS: %d\n", (int)pkt.pts);
134         }
135
136         pkt.stream_index = audio_stream->index;
137
138         pkt.flags |= AV_PKT_FLAG_KEY;
139
140         if (av_interleaved_write_frame(outfile, &pkt) != 0) {
141                 fprintf(stderr, "Error writing audio packet!\n");
142                 return -1;
143         }
144         return 0;
145 }
146
147 /* Allocate a temporary frame */
148 static AVFrame* alloc_picture(int pix_fmt, int width, int height) 
149 {
150         AVFrame* f;
151         uint8_t* buf;
152         int size;
153         
154         /* allocate space for the struct */
155         f = avcodec_alloc_frame();
156         if (!f) return NULL;
157         size = avpicture_get_size(pix_fmt, width, height);
158         /* allocate the actual picture buffer */
159         buf = MEM_mallocN(size, "AVFrame buffer");
160         if (!buf) {
161                 free(f);
162                 return NULL;
163         }
164         avpicture_fill((AVPicture*)f, buf, pix_fmt, width, height);
165         return f;
166 }
167
168 /* Get the correct file extensions for the requested format,
169    first is always desired guess_format parameter */
170 static const char** get_file_extensions(int format) 
171 {
172         switch(format) {
173         case FFMPEG_DV: {
174                 static const char * rv[] = { ".dv", NULL };
175                 return rv;
176         }
177         case FFMPEG_MPEG1: {
178                 static const char * rv[] = { ".mpg", ".mpeg", NULL };
179                 return rv;
180         }
181         case FFMPEG_MPEG2: {
182                 static const char * rv[] = { ".dvd", ".vob", ".mpg", ".mpeg",
183                                                  NULL };
184                 return rv;
185         }
186         case FFMPEG_MPEG4: {
187                 static const char * rv[] = { ".mp4", ".mpg", ".mpeg", NULL };
188                 return rv;
189         }
190         case FFMPEG_AVI: {
191                 static const char * rv[] = { ".avi", NULL };
192                 return rv;
193         }
194         case FFMPEG_MOV: {
195                 static const char * rv[] = { ".mov", NULL };
196                 return rv;
197         }
198         case FFMPEG_H264: {
199                 /* FIXME: avi for now... */
200                 static const char * rv[] = { ".avi", NULL };
201                 return rv;
202         }
203
204         case FFMPEG_XVID: {
205                 /* FIXME: avi for now... */
206                 static const char * rv[] = { ".avi", NULL };
207                 return rv;
208         }
209         case FFMPEG_FLV: {
210                 static const char * rv[] = { ".flv", NULL };
211                 return rv;
212         }
213         case FFMPEG_MKV: {
214                 static const char * rv[] = { ".mkv", NULL };
215                 return rv;
216         }
217         case FFMPEG_OGG: {
218                 static const char * rv[] = { ".ogg", ".ogv", NULL };
219                 return rv;
220         }
221         case FFMPEG_MP3: {
222                 static const char * rv[] = { ".mp3", NULL };
223                 return rv;
224         }
225         case FFMPEG_WAV: {
226                 static const char * rv[] = { ".wav", NULL };
227                 return rv;
228         }
229         default:
230                 return NULL;
231         }
232 }
233
234 /* Write a frame to the output file */
235 static int write_video_frame(RenderData *rd, AVFrame* frame, ReportList *reports)
236 {
237         int outsize = 0;
238         int ret, success= 1;
239         AVCodecContext* c = video_stream->codec;
240
241         frame->pts = rd->cfra - rd->sfra;
242
243         if (rd->mode & R_FIELDS) {
244                 frame->top_field_first = ((rd->mode & R_ODDFIELD) != 0);
245         }
246
247         outsize = avcodec_encode_video(c, video_buffer, video_buffersize, 
248                                            frame);
249         if (outsize != 0) {
250                 AVPacket packet;
251                 av_init_packet(&packet);
252
253                 if (c->coded_frame->pts != AV_NOPTS_VALUE) {
254                         packet.pts = av_rescale_q(c->coded_frame->pts,
255                                                   c->time_base,
256                                                   video_stream->time_base);
257                         fprintf(stderr, "Video Frame PTS: %d\n", (int)packet.pts);
258                 } else {
259                         fprintf(stderr, "Video Frame PTS: not set\n");
260                 }
261                 if (c->coded_frame->key_frame)
262                         packet.flags |= AV_PKT_FLAG_KEY;
263                 packet.stream_index = video_stream->index;
264                 packet.data = video_buffer;
265                 packet.size = outsize;
266                 ret = av_interleaved_write_frame(outfile, &packet);
267         } else {
268                 ret = 0;
269         }
270
271         if (ret != 0) {
272                 success= 0;
273                 BKE_report(reports, RPT_ERROR, "Error writing frame.");
274         }
275
276         return success;
277 }
278
279 /* read and encode a frame of audio from the buffer */
280 static AVFrame* generate_video_frame(uint8_t* pixels, ReportList *reports) 
281 {
282         uint8_t* rendered_frame;
283
284         AVCodecContext* c = video_stream->codec;
285         int width = c->width;
286         int height = c->height;
287         AVFrame* rgb_frame;
288
289         if (c->pix_fmt != PIX_FMT_BGR32) {
290                 rgb_frame = alloc_picture(PIX_FMT_BGR32, width, height);
291                 if (!rgb_frame) {
292                         BKE_report(reports, RPT_ERROR, "Couldn't allocate temporary frame.");
293                         return NULL;
294                 }
295         } else {
296                 rgb_frame = current_frame;
297         }
298
299         rendered_frame = pixels;
300
301         /* Do RGBA-conversion and flipping in one step depending
302            on CPU-Endianess */
303
304         if (ENDIAN_ORDER == L_ENDIAN) {
305                 int y;
306                 for (y = 0; y < height; y++) {
307                         uint8_t* target = rgb_frame->data[0]
308                                 + width * 4 * (height - y - 1);
309                         uint8_t* src = rendered_frame + width * 4 * y;
310                         uint8_t* end = src + width * 4;
311                         while (src != end) {
312                                 target[3] = src[3];
313                                 target[2] = src[2];
314                                 target[1] = src[1];
315                                 target[0] = src[0];
316
317                                 target += 4;
318                                 src += 4;
319                         }
320                 }
321         } else {
322                 int y;
323                 for (y = 0; y < height; y++) {
324                         uint8_t* target = rgb_frame->data[0]
325                                 + width * 4 * (height - y - 1);
326                         uint8_t* src = rendered_frame + width * 4 * y;
327                         uint8_t* end = src + width * 4;
328                         while (src != end) {
329                                 target[3] = src[0];
330                                 target[2] = src[1];
331                                 target[1] = src[2];
332                                 target[0] = src[3];
333
334                                 target += 4;
335                                 src += 4;
336                         }
337                 }
338         }
339
340         if (c->pix_fmt != PIX_FMT_BGR32) {
341                 sws_scale(img_convert_ctx, (const uint8_t * const*) rgb_frame->data,
342                           rgb_frame->linesize, 0, c->height, 
343                           current_frame->data, current_frame->linesize);
344                 delete_picture(rgb_frame);
345         }
346         return current_frame;
347 }
348
349 static void set_ffmpeg_property_option(AVCodecContext* c, IDProperty * prop)
350 {
351         char name[128];
352         char * param;
353         const AVOption * rv = NULL;
354
355         fprintf(stderr, "FFMPEG expert option: %s: ", prop->name);
356
357         BLI_strncpy(name, prop->name, sizeof(name));
358
359         param = strchr(name, ':');
360
361         if (param) {
362                 *param++ = 0;
363         }
364
365         switch(prop->type) {
366         case IDP_STRING:
367                 fprintf(stderr, "%s.\n", IDP_String(prop));
368                 av_set_string3(c, prop->name, IDP_String(prop), 1, &rv);
369                 break;
370         case IDP_FLOAT:
371                 fprintf(stderr, "%g.\n", IDP_Float(prop));
372                 rv = av_set_double(c, prop->name, IDP_Float(prop));
373                 break;
374         case IDP_INT:
375                 fprintf(stderr, "%d.\n", IDP_Int(prop));
376                 
377                 if (param) {
378                         if (IDP_Int(prop)) {
379                                 av_set_string3(c, name, param, 1, &rv);
380                         } else {
381                                 return;
382                         }
383                 } else {
384                         rv = av_set_int(c, prop->name, IDP_Int(prop));
385                 }
386                 break;
387         }
388
389         if (!rv) {
390                 fprintf(stderr, "ffmpeg-option not supported: %s! Skipping.\n",
391                         prop->name);
392         }
393 }
394
395 static void set_ffmpeg_properties(RenderData *rd, AVCodecContext *c, const char * prop_name)
396 {
397         IDProperty * prop;
398         void * iter;
399         IDProperty * curr;
400
401         if (!rd->ffcodecdata.properties) {
402                 return;
403         }
404         
405         prop = IDP_GetPropertyFromGroup(
406                 rd->ffcodecdata.properties, (char*) prop_name);
407         if (!prop) {
408                 return;
409         }
410
411         iter = IDP_GetGroupIterator(prop);
412
413         while ((curr = IDP_GroupIterNext(iter)) != NULL) {
414                 set_ffmpeg_property_option(c, curr);
415         }
416 }
417
418 /* prepare a video stream for the output file */
419
420 static AVStream* alloc_video_stream(RenderData *rd, int codec_id, AVFormatContext* of,
421                                         int rectx, int recty) 
422 {
423         AVStream* st;
424         AVCodecContext* c;
425         AVCodec* codec;
426         st = av_new_stream(of, 0);
427         if (!st) return NULL;
428
429         /* Set up the codec context */
430         
431         c = st->codec;
432         c->codec_id = codec_id;
433         c->codec_type = AVMEDIA_TYPE_VIDEO;
434
435
436         /* Get some values from the current render settings */
437         
438         c->width = rectx;
439         c->height = recty;
440
441         /* FIXME: Really bad hack (tm) for NTSC support */
442         if (ffmpeg_type == FFMPEG_DV && rd->frs_sec != 25) {
443                 c->time_base.den = 2997;
444                 c->time_base.num = 100;
445         } else if ((double) ((int) rd->frs_sec_base) == 
446                    rd->frs_sec_base) {
447                 c->time_base.den = rd->frs_sec;
448                 c->time_base.num = (int) rd->frs_sec_base;
449         } else {
450                 c->time_base.den = rd->frs_sec * 100000;
451                 c->time_base.num = ((double) rd->frs_sec_base) * 100000;
452         }
453         
454         c->gop_size = ffmpeg_gop_size;
455         c->bit_rate = ffmpeg_video_bitrate*1000;
456         c->rc_max_rate = rd->ffcodecdata.rc_max_rate*1000;
457         c->rc_min_rate = rd->ffcodecdata.rc_min_rate*1000;
458         c->rc_buffer_size = rd->ffcodecdata.rc_buffer_size * 1024;
459         c->rc_initial_buffer_occupancy 
460                 = rd->ffcodecdata.rc_buffer_size*3/4;
461         c->rc_buffer_aggressivity = 1.0;
462         c->me_method = ME_EPZS;
463         
464         codec = avcodec_find_encoder(c->codec_id);
465         if (!codec) return NULL;
466         
467         /* Be sure to use the correct pixel format(e.g. RGB, YUV) */
468         
469         if (codec->pix_fmts) {
470                 c->pix_fmt = codec->pix_fmts[0];
471         } else {
472                 /* makes HuffYUV happy ... */
473                 c->pix_fmt = PIX_FMT_YUV422P;
474         }
475
476         if (ffmpeg_type == FFMPEG_XVID) {
477                 /* arghhhh ... */
478                 c->pix_fmt = PIX_FMT_YUV420P;
479                 c->codec_tag = (('D'<<24) + ('I'<<16) + ('V'<<8) + 'X');
480         }
481
482         if (codec_id == CODEC_ID_H264) {
483                 /* correct wrong default ffmpeg param which crash x264 */
484                 c->qmin=10;
485                 c->qmax=51;
486         }
487         
488         if ((of->oformat->flags & AVFMT_GLOBALHEADER)
489 //              || !strcmp(of->oformat->name, "mp4")
490 //          || !strcmp(of->oformat->name, "mov")
491 //          || !strcmp(of->oformat->name, "3gp")
492                 ) {
493                 fprintf(stderr, "Using global header\n");
494                 c->flags |= CODEC_FLAG_GLOBAL_HEADER;
495         }
496         
497         /* Determine whether we are encoding interlaced material or not */
498         if (rd->mode & R_FIELDS) {
499                 fprintf(stderr, "Encoding interlaced video\n");
500                 c->flags |= CODEC_FLAG_INTERLACED_DCT;
501                 c->flags |= CODEC_FLAG_INTERLACED_ME;
502         }
503
504         /* xasp & yasp got float lately... */
505
506         st->sample_aspect_ratio = c->sample_aspect_ratio = av_d2q(
507                 ((double) rd->xasp / (double) rd->yasp), 255);
508
509         set_ffmpeg_properties(rd, c, "video");
510         
511         if (avcodec_open(c, codec) < 0) {
512                 //
513                 //XXX error("Couldn't initialize codec");
514                 return NULL;
515         }
516
517         video_buffersize = 2000000;
518         video_buffer = (uint8_t*)MEM_mallocN(video_buffersize, 
519                                                  "FFMPEG video buffer");
520         
521         current_frame = alloc_picture(c->pix_fmt, c->width, c->height);
522
523         img_convert_ctx = sws_getContext(c->width, c->height,
524                                          PIX_FMT_BGR32,
525                                          c->width, c->height,
526                                          c->pix_fmt,
527                                          SWS_BICUBIC,
528                                          NULL, NULL, NULL);
529         return st;
530 }
531
532 /* Prepare an audio stream for the output file */
533
534 static AVStream* alloc_audio_stream(RenderData *rd, int codec_id, AVFormatContext* of) 
535 {
536         AVStream* st;
537         AVCodecContext* c;
538         AVCodec* codec;
539
540         st = av_new_stream(of, 1);
541         if (!st) return NULL;
542
543         c = st->codec;
544         c->codec_id = codec_id;
545         c->codec_type = AVMEDIA_TYPE_AUDIO;
546
547         c->sample_rate = rd->ffcodecdata.audio_mixrate;
548         c->bit_rate = ffmpeg_audio_bitrate*1000;
549         c->sample_fmt = SAMPLE_FMT_S16;
550         c->channels = 2;
551         codec = avcodec_find_encoder(c->codec_id);
552         if (!codec) {
553                 //XXX error("Couldn't find a valid audio codec");
554                 return NULL;
555         }
556
557         set_ffmpeg_properties(rd, c, "audio");
558
559         if (avcodec_open(c, codec) < 0) {
560                 //XXX error("Couldn't initialize audio codec");
561                 return NULL;
562         }
563
564         audio_outbuf_size = FF_MIN_BUFFER_SIZE;
565
566         if((c->codec_id >= CODEC_ID_PCM_S16LE) && (c->codec_id <= CODEC_ID_PCM_DVD))
567                 audio_input_samples = audio_outbuf_size * 8 / c->bits_per_coded_sample / c->channels;
568         else
569         {
570                 audio_input_samples = c->frame_size;
571                 if(c->frame_size * c->channels * sizeof(int16_t) * 4 > audio_outbuf_size)
572                         audio_outbuf_size = c->frame_size * c->channels * sizeof(int16_t) * 4;
573         }
574
575         audio_output_buffer = (uint8_t*)MEM_mallocN(
576                 audio_outbuf_size, "FFMPEG audio encoder input buffer");
577
578         audio_input_buffer = (uint8_t*)MEM_mallocN(
579                 audio_input_samples * c->channels * sizeof(int16_t),
580                 "FFMPEG audio encoder output buffer");
581
582         audio_time = 0.0f;
583
584         return st;
585 }
586 /* essential functions -- start, append, end */
587
588 static int start_ffmpeg_impl(struct RenderData *rd, int rectx, int recty, ReportList *reports)
589 {
590         /* Handle to the output file */
591         AVFormatContext* of;
592         AVOutputFormat* fmt;
593         char name[256];
594         const char ** exts;
595
596         ffmpeg_type = rd->ffcodecdata.type;
597         ffmpeg_codec = rd->ffcodecdata.codec;
598         ffmpeg_audio_codec = rd->ffcodecdata.audio_codec;
599         ffmpeg_video_bitrate = rd->ffcodecdata.video_bitrate;
600         ffmpeg_audio_bitrate = rd->ffcodecdata.audio_bitrate;
601         ffmpeg_gop_size = rd->ffcodecdata.gop_size;
602         ffmpeg_autosplit = rd->ffcodecdata.flags
603                 & FFMPEG_AUTOSPLIT_OUTPUT;
604         
605         do_init_ffmpeg();
606
607         /* Determine the correct filename */
608         filepath_ffmpeg(name, rd);
609         fprintf(stderr, "Starting output to %s(ffmpeg)...\n"
610                 "  Using type=%d, codec=%d, audio_codec=%d,\n"
611                 "  video_bitrate=%d, audio_bitrate=%d,\n"
612                 "  gop_size=%d, autosplit=%d\n"
613                 "  render width=%d, render height=%d\n", 
614                 name, ffmpeg_type, ffmpeg_codec, ffmpeg_audio_codec,
615                 ffmpeg_video_bitrate, ffmpeg_audio_bitrate,
616                 ffmpeg_gop_size, ffmpeg_autosplit, rectx, recty);
617         
618         exts = get_file_extensions(ffmpeg_type);
619         if (!exts) {
620                 BKE_report(reports, RPT_ERROR, "No valid formats found.");
621                 return 0;
622         }
623         fmt = av_guess_format(NULL, exts[0], NULL);
624         if (!fmt) {
625                 BKE_report(reports, RPT_ERROR, "No valid formats found.");
626                 return 0;
627         }
628
629         of = avformat_alloc_context();
630         if (!of) {
631                 BKE_report(reports, RPT_ERROR, "Error opening output file");
632                 return 0;
633         }
634         
635         of->oformat = fmt;
636         of->packet_size= rd->ffcodecdata.mux_packet_size;
637         if (ffmpeg_audio_codec != CODEC_ID_NONE) {
638                 of->mux_rate = rd->ffcodecdata.mux_rate;
639         } else {
640                 of->mux_rate = 0;
641         }
642
643         of->preload = (int)(0.5*AV_TIME_BASE);
644         of->max_delay = (int)(0.7*AV_TIME_BASE);
645
646         fmt->audio_codec = ffmpeg_audio_codec;
647
648         snprintf(of->filename, sizeof(of->filename), "%s", name);
649         /* set the codec to the user's selection */
650         switch(ffmpeg_type) {
651         case FFMPEG_AVI:
652         case FFMPEG_MOV:
653         case FFMPEG_OGG:
654         case FFMPEG_MKV:
655                 fmt->video_codec = ffmpeg_codec;
656                 break;
657         case FFMPEG_DV:
658                 fmt->video_codec = CODEC_ID_DVVIDEO;
659                 break;
660         case FFMPEG_MPEG1:
661                 fmt->video_codec = CODEC_ID_MPEG1VIDEO;
662                 break;
663         case FFMPEG_MPEG2:
664                 fmt->video_codec = CODEC_ID_MPEG2VIDEO;
665                 break;
666         case FFMPEG_H264:
667                 fmt->video_codec = CODEC_ID_H264;
668                 break;
669         case FFMPEG_XVID:
670                 fmt->video_codec = CODEC_ID_MPEG4;
671                 break;
672         case FFMPEG_FLV:
673                 fmt->video_codec = CODEC_ID_FLV1;
674                 break;
675         case FFMPEG_MP3:
676                 fmt->audio_codec = CODEC_ID_MP3;
677         case FFMPEG_WAV:
678                 fmt->video_codec = CODEC_ID_NONE;
679                 break;
680         case FFMPEG_MPEG4:
681         default:
682                 fmt->video_codec = CODEC_ID_MPEG4;
683                 break;
684         }
685         if (fmt->video_codec == CODEC_ID_DVVIDEO) {
686                 if (rectx != 720) {
687                         BKE_report(reports, RPT_ERROR, "Render width has to be 720 pixels for DV!");
688                         return 0;
689                 }
690                 if (rd->frs_sec != 25 && recty != 480) {
691                         BKE_report(reports, RPT_ERROR, "Render height has to be 480 pixels for DV-NTSC!");
692                         return 0;
693                 }
694                 if (rd->frs_sec == 25 && recty != 576) {
695                         BKE_report(reports, RPT_ERROR, "Render height has to be 576 pixels for DV-PAL!");
696                         return 0;
697                 }
698         }
699         
700         if (ffmpeg_type == FFMPEG_DV) {
701                 fmt->audio_codec = CODEC_ID_PCM_S16LE;
702                 if (ffmpeg_audio_codec != CODEC_ID_NONE && rd->ffcodecdata.audio_mixrate != 48000) {
703                         BKE_report(reports, RPT_ERROR, "FFMPEG only supports 48khz / stereo audio for DV!");
704                         return 0;
705                 }
706         }
707         
708         if (fmt->video_codec != CODEC_ID_NONE) {
709                 video_stream = alloc_video_stream(rd, fmt->video_codec, of, rectx, recty);
710                 printf("alloc video stream %p\n", video_stream);
711                 if (!video_stream) {
712                         BKE_report(reports, RPT_ERROR, "Error initializing video stream.");
713                         return 0;
714                 }
715         }
716
717         if (ffmpeg_audio_codec != CODEC_ID_NONE) {
718                 audio_stream = alloc_audio_stream(rd, fmt->audio_codec, of);
719                 if (!audio_stream) {
720                         BKE_report(reports, RPT_ERROR, "Error initializing audio stream.");
721                         return 0;
722                 }
723         }
724         if (av_set_parameters(of, NULL) < 0) {
725                 BKE_report(reports, RPT_ERROR, "Error setting output parameters.");
726                 return 0;
727         }
728         if (!(fmt->flags & AVFMT_NOFILE)) {
729                 if (avio_open(&of->pb, name, AVIO_FLAG_WRITE) < 0) {
730                         BKE_report(reports, RPT_ERROR, "Could not open file for writing.");
731                         return 0;
732                 }
733         }
734
735         av_write_header(of);
736         outfile = of;
737         av_dump_format(of, 0, name, 1);
738
739         return 1;
740 }
741
742 /**
743  * Writes any delayed frames in the encoder. This function is called before 
744  * closing the encoder.
745  *
746  * <p>
747  * Since an encoder may use both past and future frames to predict 
748  * inter-frames (H.264 B-frames, for example), it can output the frames 
749  * in a different order from the one it was given.
750  * For example, when sending frames 1, 2, 3, 4 to the encoder, it may write
751  * them in the order 1, 4, 2, 3 - first the two frames used for predition, 
752  * and then the bidirectionally-predicted frames. What this means in practice 
753  * is that the encoder may not immediately produce one output frame for each 
754  * input frame. These delayed frames must be flushed before we close the 
755  * stream. We do this by calling avcodec_encode_video with NULL for the last 
756  * parameter.
757  * </p>
758  */
759 void flush_ffmpeg(void)
760 {
761         int outsize = 0;
762         int ret = 0;
763         
764         AVCodecContext* c = video_stream->codec;
765         /* get the delayed frames */
766         while (1) {
767                 AVPacket packet;
768                 av_init_packet(&packet);
769                 
770                 outsize = avcodec_encode_video(c, video_buffer, video_buffersize, NULL);
771                 if (outsize < 0) {
772                         fprintf(stderr, "Error encoding delayed frame %d\n", outsize);
773                         break;
774                 }
775                 if (outsize == 0) {
776                         break;
777                 }
778                 if (c->coded_frame->pts != AV_NOPTS_VALUE) {
779                         packet.pts = av_rescale_q(c->coded_frame->pts,
780                                                   c->time_base,
781                                                   video_stream->time_base);
782                         fprintf(stderr, "Video Frame PTS: %d\n", (int)packet.pts);
783                 } else {
784                         fprintf(stderr, "Video Frame PTS: not set\n");
785                 }
786                 if (c->coded_frame->key_frame) {
787                         packet.flags |= AV_PKT_FLAG_KEY;
788                 }
789                 packet.stream_index = video_stream->index;
790                 packet.data = video_buffer;
791                 packet.size = outsize;
792                 ret = av_interleaved_write_frame(outfile, &packet);
793                 if (ret != 0) {
794                         fprintf(stderr, "Error writing delayed frame %d\n", ret);
795                         break;
796                 }
797         }
798         avcodec_flush_buffers(video_stream->codec);
799 }
800
801 /* **********************************************************************
802    * public interface
803    ********************************************************************** */
804
805 /* Get the output filename-- similar to the other output formats */
806 void filepath_ffmpeg(char* string, RenderData* rd) {
807         char autosplit[20];
808
809         const char ** exts = get_file_extensions(rd->ffcodecdata.type);
810         const char ** fe = exts;
811
812         if (!string || !exts) return;
813
814         strcpy(string, rd->pic);
815         BLI_path_abs(string, G.main->name);
816
817         BLI_make_existing_file(string);
818
819         autosplit[0] = 0;
820
821         if ((rd->ffcodecdata.flags & FFMPEG_AUTOSPLIT_OUTPUT) != 0) {
822                 sprintf(autosplit, "_%03d", ffmpeg_autosplit_count);
823         }
824
825         while (*fe) {
826                 if (BLI_strcasecmp(string + strlen(string) - strlen(*fe), 
827                                    *fe) == 0) {
828                         break;
829                 }
830                 fe++;
831         }
832
833         if (!*fe) {
834                 strcat(string, autosplit);
835
836                 BLI_path_frame_range(string, rd->sfra, rd->efra, 4);
837                 strcat(string, *exts);
838         } else {
839                 *(string + strlen(string) - strlen(*fe)) = 0;
840                 strcat(string, autosplit);
841                 strcat(string, *fe);
842         }
843 }
844
845 int start_ffmpeg(struct Scene *scene, RenderData *rd, int rectx, int recty, ReportList *reports)
846 {
847         int success;
848
849         ffmpeg_autosplit_count = 0;
850
851         success = start_ffmpeg_impl(rd, rectx, recty, reports);
852
853         if(audio_stream)
854         {
855                 AVCodecContext* c = audio_stream->codec;
856                 AUD_DeviceSpecs specs;
857                 specs.channels = c->channels;
858                 specs.format = AUD_FORMAT_S16;
859                 specs.rate = rd->ffcodecdata.audio_mixrate;
860                 audio_mixdown_device = sound_mixdown(scene, specs, rd->sfra, rd->ffcodecdata.audio_volume);
861         }
862
863         return success;
864 }
865
866 void end_ffmpeg(void);
867
868 static void write_audio_frames(double to_pts)
869 {
870         int finished = 0;
871
872         while (audio_stream && !finished) {
873                 if((audio_time >= to_pts) ||
874                    (write_audio_frame())) {
875                         finished = 1;
876                 }
877         }
878 }
879
880 int append_ffmpeg(RenderData *rd, int frame, int *pixels, int rectx, int recty, ReportList *reports) 
881 {
882         AVFrame* avframe;
883         int success = 1;
884
885         fprintf(stderr, "Writing frame %i, "
886                 "render width=%d, render height=%d\n", frame,
887                 rectx, recty);
888
889 // why is this done before writing the video frame and again at end_ffmpeg?
890 //      write_audio_frames(frame / (((double)rd->frs_sec) / rd->frs_sec_base));
891
892         if(video_stream)
893         {
894                 avframe= generate_video_frame((unsigned char*) pixels, reports);
895                 success= (avframe && write_video_frame(rd, avframe, reports));
896
897                 if (ffmpeg_autosplit) {
898                         if (avio_tell(outfile->pb) > FFMPEG_AUTOSPLIT_SIZE) {
899                                 end_ffmpeg();
900                                 ffmpeg_autosplit_count++;
901                                 success &= start_ffmpeg_impl(rd, rectx, recty, reports);
902                         }
903                 }
904         }
905
906         write_audio_frames((frame - rd->sfra) / (((double)rd->frs_sec) / rd->frs_sec_base));
907
908         return success;
909 }
910
911 void end_ffmpeg(void)
912 {
913         unsigned int i;
914         
915         fprintf(stderr, "Closing ffmpeg...\n");
916
917 /*      if (audio_stream) { SEE UPPER
918                 write_audio_frames();
919         }*/
920
921         if(audio_mixdown_device)
922         {
923                 AUD_closeReadDevice(audio_mixdown_device);
924                 audio_mixdown_device = 0;
925         }
926         
927         if (video_stream && video_stream->codec) {
928                 fprintf(stderr, "Flushing delayed frames...\n");
929                 flush_ffmpeg ();                
930         }
931         
932         if (outfile) {
933                 av_write_trailer(outfile);
934         }
935         
936         /* Close the video codec */
937
938         if (video_stream && video_stream->codec) {
939                 avcodec_close(video_stream->codec);
940                 printf("zero video stream %p\n", video_stream);
941                 video_stream = 0;
942         }
943
944         
945         /* Close the output file */
946         if (outfile) {
947                 for (i = 0; i < outfile->nb_streams; i++) {
948                         if (&outfile->streams[i]) {
949                                 av_freep(&outfile->streams[i]);
950                         }
951                 }
952         }
953         /* free the temp buffer */
954         if (current_frame) {
955                 delete_picture(current_frame);
956                 current_frame = 0;
957         }
958         if (outfile && outfile->oformat) {
959                 if (!(outfile->oformat->flags & AVFMT_NOFILE)) {
960                         avio_close(outfile->pb);
961                 }
962         }
963         if (outfile) {
964                 av_free(outfile);
965                 outfile = 0;
966         }
967         if (video_buffer) {
968                 MEM_freeN(video_buffer);
969                 video_buffer = 0;
970         }
971         if (audio_output_buffer) {
972                 MEM_freeN(audio_output_buffer);
973                 audio_output_buffer = 0;
974         }
975         if (audio_input_buffer) {
976                 MEM_freeN(audio_input_buffer);
977                 audio_input_buffer = 0;
978         }
979
980         if (img_convert_ctx) {
981                 sws_freeContext(img_convert_ctx);
982                 img_convert_ctx = 0;
983         }
984 }
985
986 /* properties */
987
988 void ffmpeg_property_del(RenderData *rd, void *type, void *prop_)
989 {
990         struct IDProperty *prop = (struct IDProperty *) prop_;
991         IDProperty * group;
992         
993         if (!rd->ffcodecdata.properties) {
994                 return;
995         }
996
997         group = IDP_GetPropertyFromGroup(
998                 rd->ffcodecdata.properties, (char*) type);
999         if (group && prop) {
1000                 IDP_RemFromGroup(group, prop);
1001                 IDP_FreeProperty(prop);
1002                 MEM_freeN(prop);
1003         }
1004 }
1005
1006 IDProperty *ffmpeg_property_add(RenderData *rd, char * type, int opt_index, int parent_index)
1007 {
1008         AVCodecContext c;
1009         const AVOption * o;
1010         const AVOption * parent;
1011         IDProperty * group;
1012         IDProperty * prop;
1013         IDPropertyTemplate val;
1014         int idp_type;
1015         char name[256];
1016         
1017         val.i = 0;
1018
1019         avcodec_get_context_defaults(&c);
1020
1021         o = c.av_class->option + opt_index;
1022         parent = c.av_class->option + parent_index;
1023
1024         if (!rd->ffcodecdata.properties) {
1025                 rd->ffcodecdata.properties 
1026                         = IDP_New(IDP_GROUP, val, "ffmpeg"); 
1027         }
1028
1029         group = IDP_GetPropertyFromGroup(
1030                 rd->ffcodecdata.properties, (char*) type);
1031         
1032         if (!group) {
1033                 group = IDP_New(IDP_GROUP, val, (char*) type); 
1034                 IDP_AddToGroup(rd->ffcodecdata.properties, group);
1035         }
1036
1037         if (parent_index) {
1038                 sprintf(name, "%s:%s", parent->name, o->name);
1039         } else {
1040                 strcpy(name, o->name);
1041         }
1042
1043         fprintf(stderr, "ffmpeg_property_add: %s %d %d %s\n",
1044                 type, parent_index, opt_index, name);
1045
1046         prop = IDP_GetPropertyFromGroup(group, name);
1047         if (prop) {
1048                 return prop;
1049         }
1050
1051         switch (o->type) {
1052         case FF_OPT_TYPE_INT:
1053         case FF_OPT_TYPE_INT64:
1054                 val.i = o->default_val.i64;
1055                 idp_type = IDP_INT;
1056                 break;
1057         case FF_OPT_TYPE_DOUBLE:
1058         case FF_OPT_TYPE_FLOAT:
1059                 val.f = o->default_val.dbl;
1060                 idp_type = IDP_FLOAT;
1061                 break;
1062         case FF_OPT_TYPE_STRING:
1063                 val.str = "                                                                               ";
1064                 idp_type = IDP_STRING;
1065                 break;
1066         case FF_OPT_TYPE_CONST:
1067                 val.i = 1;
1068                 idp_type = IDP_INT;
1069                 break;
1070         default:
1071                 return NULL;
1072         }
1073         prop = IDP_New(idp_type, val, name);
1074         IDP_AddToGroup(group, prop);
1075         return prop;
1076 }
1077
1078 /* not all versions of ffmpeg include that, so here we go ... */
1079
1080 static const AVOption *my_av_find_opt(void *v, const char *name, 
1081                                           const char *unit, int mask, int flags){
1082         AVClass *c= *(AVClass**)v; 
1083         const AVOption *o= c->option;
1084
1085         for(;o && o->name; o++){
1086                 if(!strcmp(o->name, name) && 
1087                    (!unit || (o->unit && !strcmp(o->unit, unit))) && 
1088                    (o->flags & mask) == flags )
1089                         return o;
1090         }
1091         return NULL;
1092 }
1093
1094 int ffmpeg_property_add_string(RenderData *rd, const char * type, const char * str)
1095 {
1096         AVCodecContext c;
1097         const AVOption * o = 0;
1098         const AVOption * p = 0;
1099         char name_[128];
1100         char * name;
1101         char * param;
1102         IDProperty * prop;
1103         
1104         avcodec_get_context_defaults(&c);
1105
1106         strncpy(name_, str, sizeof(name_));
1107
1108         name = name_;
1109         while (*name == ' ') name++;
1110
1111         param = strchr(name, ':');
1112
1113         if (!param) {
1114                 param = strchr(name, ' ');
1115         }
1116         if (param) {
1117                 *param++ = 0;
1118                 while (*param == ' ') param++;
1119         }
1120         
1121         o = my_av_find_opt(&c, name, NULL, 0, 0);       
1122         if (!o) {
1123                 return 0;
1124         }
1125         if (param && o->type == FF_OPT_TYPE_CONST) {
1126                 return 0;
1127         }
1128         if (param && o->type != FF_OPT_TYPE_CONST && o->unit) {
1129                 p = my_av_find_opt(&c, param, o->unit, 0, 0);   
1130                 prop = ffmpeg_property_add(rd,
1131                         (char*) type, p - c.av_class->option, 
1132                         o - c.av_class->option);
1133         } else {
1134                 prop = ffmpeg_property_add(rd,
1135                         (char*) type, o - c.av_class->option, 0);
1136         }
1137                 
1138
1139         if (!prop) {
1140                 return 0;
1141         }
1142
1143         if (param && !p) {
1144                 switch (prop->type) {
1145                 case IDP_INT:
1146                         IDP_Int(prop) = atoi(param);
1147                         break;
1148                 case IDP_FLOAT:
1149                         IDP_Float(prop) = atof(param);
1150                         break;
1151                 case IDP_STRING:
1152                         strncpy(IDP_String(prop), param, prop->len);
1153                         break;
1154                 }
1155         }
1156         return 1;
1157 }
1158
1159 void ffmpeg_set_preset(RenderData *rd, int preset)
1160 {
1161         int isntsc = (rd->frs_sec != 25);
1162
1163         switch (preset) {
1164         case FFMPEG_PRESET_VCD:
1165                 rd->ffcodecdata.type = FFMPEG_MPEG1;
1166                 rd->ffcodecdata.video_bitrate = 1150;
1167                 rd->xsch = 352;
1168                 rd->ysch = isntsc ? 240 : 288;
1169                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1170                 rd->ffcodecdata.rc_max_rate = 1150;
1171                 rd->ffcodecdata.rc_min_rate = 1150;
1172                 rd->ffcodecdata.rc_buffer_size = 40*8;
1173                 rd->ffcodecdata.mux_packet_size = 2324;
1174                 rd->ffcodecdata.mux_rate = 2352 * 75 * 8;
1175                 break;
1176
1177         case FFMPEG_PRESET_SVCD:
1178                 rd->ffcodecdata.type = FFMPEG_MPEG2;
1179                 rd->ffcodecdata.video_bitrate = 2040;
1180                 rd->xsch = 480;
1181                 rd->ysch = isntsc ? 480 : 576;
1182                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1183                 rd->ffcodecdata.rc_max_rate = 2516;
1184                 rd->ffcodecdata.rc_min_rate = 0;
1185                 rd->ffcodecdata.rc_buffer_size = 224*8;
1186                 rd->ffcodecdata.mux_packet_size = 2324;
1187                 rd->ffcodecdata.mux_rate = 0;
1188                 break;
1189
1190         case FFMPEG_PRESET_DVD:
1191                 rd->ffcodecdata.type = FFMPEG_MPEG2;
1192                 rd->ffcodecdata.video_bitrate = 6000;
1193                 rd->xsch = 720;
1194                 rd->ysch = isntsc ? 480 : 576;
1195                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1196                 rd->ffcodecdata.rc_max_rate = 9000;
1197                 rd->ffcodecdata.rc_min_rate = 0;
1198                 rd->ffcodecdata.rc_buffer_size = 224*8;
1199                 rd->ffcodecdata.mux_packet_size = 2048;
1200                 rd->ffcodecdata.mux_rate = 10080000;
1201                 break;
1202
1203         case FFMPEG_PRESET_DV:
1204                 rd->ffcodecdata.type = FFMPEG_DV;
1205                 rd->xsch = 720;
1206                 rd->ysch = isntsc ? 480 : 576;
1207                 break;
1208
1209         case FFMPEG_PRESET_H264:
1210                 rd->ffcodecdata.type = FFMPEG_AVI;
1211                 rd->ffcodecdata.codec = CODEC_ID_H264;
1212                 rd->ffcodecdata.video_bitrate = 6000;
1213                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1214                 rd->ffcodecdata.rc_max_rate = 9000;
1215                 rd->ffcodecdata.rc_min_rate = 0;
1216                 rd->ffcodecdata.rc_buffer_size = 224*8;
1217                 rd->ffcodecdata.mux_packet_size = 2048;
1218                 rd->ffcodecdata.mux_rate = 10080000;
1219
1220                 /*
1221                  * All options here are for x264, but must be set via ffmpeg.
1222                  * The names are therefore different - Search for "x264 to FFmpeg option mapping"
1223                  * to get a list.
1224                  */
1225                 
1226                 /*
1227                  * Use CABAC coder. Using "coder:1", which should be equivalent,
1228                  * crashes Blender for some reason. Either way - this is no big deal.
1229                  */
1230                 ffmpeg_property_add_string(rd, "video", "coder:vlc");
1231                 
1232                 /* 
1233                  * The other options were taken from the libx264-default.preset
1234                  * included in the ffmpeg distribution.
1235                  */
1236                 ffmpeg_property_add_string(rd, "video", "flags:loop");
1237                 ffmpeg_property_add_string(rd, "video", "cmp:chroma");
1238                 ffmpeg_property_add_string(rd, "video", "partitions:parti4x4");
1239                 ffmpeg_property_add_string(rd, "video", "partitions:partp8x8");
1240                 ffmpeg_property_add_string(rd, "video", "partitions:partb8x8");
1241                 ffmpeg_property_add_string(rd, "video", "me:hex");
1242                 ffmpeg_property_add_string(rd, "video", "subq:6");
1243                 ffmpeg_property_add_string(rd, "video", "me_range:16");
1244                 ffmpeg_property_add_string(rd, "video", "qdiff:4");
1245                 ffmpeg_property_add_string(rd, "video", "keyint_min:25");
1246                 ffmpeg_property_add_string(rd, "video", "sc_threshold:40");
1247                 ffmpeg_property_add_string(rd, "video", "i_qfactor:0.71");
1248                 ffmpeg_property_add_string(rd, "video", "b_strategy:1");
1249                 ffmpeg_property_add_string(rd, "video", "bf:3");
1250                 ffmpeg_property_add_string(rd, "video", "refs:2");
1251                 ffmpeg_property_add_string(rd, "video", "qcomp:0.6");
1252                 ffmpeg_property_add_string(rd, "video", "directpred:3");
1253                 ffmpeg_property_add_string(rd, "video", "trellis:0");
1254                 ffmpeg_property_add_string(rd, "video", "flags2:wpred");
1255                 ffmpeg_property_add_string(rd, "video", "flags2:dct8x8");
1256                 ffmpeg_property_add_string(rd, "video", "flags2:fastpskip");
1257                 ffmpeg_property_add_string(rd, "video", "wpredp:2");
1258                 
1259                 // This makes x264 output lossless. Will be a separate option later.
1260                 //ffmpeg_property_add_string(rd, "video", "cqp:0");
1261                 break;
1262
1263         case FFMPEG_PRESET_THEORA:
1264         case FFMPEG_PRESET_XVID:
1265                 if(preset == FFMPEG_PRESET_XVID) {
1266                         rd->ffcodecdata.type = FFMPEG_AVI;
1267                         rd->ffcodecdata.codec = CODEC_ID_MPEG4;
1268                 }
1269                 else if(preset == FFMPEG_PRESET_THEORA) {
1270                         rd->ffcodecdata.type = FFMPEG_OGG; // XXX broken
1271                         rd->ffcodecdata.codec = CODEC_ID_THEORA;
1272                 }
1273
1274                 rd->ffcodecdata.video_bitrate = 6000;
1275                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1276                 rd->ffcodecdata.rc_max_rate = 9000;
1277                 rd->ffcodecdata.rc_min_rate = 0;
1278                 rd->ffcodecdata.rc_buffer_size = 224*8;
1279                 rd->ffcodecdata.mux_packet_size = 2048;
1280                 rd->ffcodecdata.mux_rate = 10080000;
1281                 break;
1282
1283         }
1284 }
1285
1286 void ffmpeg_verify_image_type(RenderData *rd)
1287 {
1288         int audio= 0;
1289
1290         if(rd->imtype == R_FFMPEG) {
1291                 if(rd->ffcodecdata.type <= 0 ||
1292                    rd->ffcodecdata.codec <= 0 ||
1293                    rd->ffcodecdata.audio_codec <= 0 ||
1294                    rd->ffcodecdata.video_bitrate <= 1) {
1295
1296                         rd->ffcodecdata.codec = CODEC_ID_MPEG2VIDEO;
1297                         /* Don't set preset, disturbs render resolution.
1298                          * ffmpeg_set_preset(rd, FFMPEG_PRESET_DVD); */
1299                 }
1300
1301                 audio= 1;
1302         }
1303         else if(rd->imtype == R_H264) {
1304                 if(rd->ffcodecdata.codec != CODEC_ID_H264) {
1305                         ffmpeg_set_preset(rd, FFMPEG_PRESET_H264);
1306                         audio= 1;
1307                 }
1308         }
1309         else if(rd->imtype == R_XVID) {
1310                 if(rd->ffcodecdata.codec != CODEC_ID_MPEG4) {
1311                         ffmpeg_set_preset(rd, FFMPEG_PRESET_XVID);
1312                         audio= 1;
1313                 }
1314         }
1315         else if(rd->imtype == R_THEORA) {
1316                 if(rd->ffcodecdata.codec != CODEC_ID_THEORA) {
1317                         ffmpeg_set_preset(rd, FFMPEG_PRESET_THEORA);
1318                         audio= 1;
1319                 }
1320         }
1321
1322         if(audio && rd->ffcodecdata.audio_codec < 0) {
1323                 rd->ffcodecdata.audio_codec = CODEC_ID_NONE;
1324                 rd->ffcodecdata.audio_bitrate = 128;
1325         }
1326 }
1327
1328 #endif
1329