== FFMPEG ==
[blender.git] / source / blender / blenkernel / intern / writeffmpeg.c
1 /** \file blender/blenkernel/intern/writeffmpeg.c
2  *  \ingroup bke
3  */
4 /*
5  * $Id$
6  *
7  * ffmpeg-write support
8  *
9  * Partial Copyright (c) 2006 Peter Schlaile
10  *
11  * This program is free software; you can redistribute it and/or modify
12  * it under the terms of the GNU General Public License as published by
13  * the Free Software Foundation; either version 2 of the License, or
14  * (at your option) any later version.
15  *
16  * This program is distributed in the hope that it will be useful,
17  * but WITHOUT ANY WARRANTY; without even the implied warranty of
18  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19  * GNU General Public License for more details.
20  *
21  */
22
23 #ifdef WITH_FFMPEG
24 #include <string.h>
25 #include <stdio.h>
26
27 #if defined(_WIN32) && defined(DEBUG) && !defined(__MINGW32__) && !defined(__CYGWIN__)
28 /* This does not seem necessary or present on MSVC 8, but may be needed in earlier versions? */
29 #if _MSC_VER < 1400
30 #include <stdint.h>
31 #endif
32 #endif
33
34 #include <stdlib.h>
35
36 #include <libavformat/avformat.h>
37 #include <libavcodec/avcodec.h>
38 #include <libavutil/rational.h>
39 #include <libswscale/swscale.h>
40 #include <libavcodec/opt.h>
41
42 #if defined(WIN32) && (!(defined snprintf))
43 #define snprintf _snprintf
44 #endif
45
46 #include "MEM_guardedalloc.h"
47
48 #include "DNA_scene_types.h"
49
50 #include "BLI_blenlib.h"
51
52 #include "AUD_C-API.h" /* must be before BKE_sound.h for define */
53
54 #include "BKE_global.h"
55 #include "BKE_idprop.h"
56 #include "BKE_main.h"
57 #include "BKE_report.h"
58 #include "BKE_sound.h"
59 #include "BKE_writeffmpeg.h"
60
61 #include "IMB_imbuf_types.h"
62 #include "IMB_imbuf.h"
63
64 #include "ffmpeg_compat.h"
65
66 extern void do_init_ffmpeg(void);
67
68 static int ffmpeg_type = 0;
69 static int ffmpeg_codec = CODEC_ID_MPEG4;
70 static int ffmpeg_audio_codec = CODEC_ID_NONE;
71 static int ffmpeg_video_bitrate = 1150;
72 static int ffmpeg_audio_bitrate = 128;
73 static int ffmpeg_gop_size = 12;
74 static int ffmpeg_autosplit = 0;
75 static int ffmpeg_autosplit_count = 0;
76
77 static AVFormatContext* outfile = 0;
78 static AVStream* video_stream = 0;
79 static AVStream* audio_stream = 0;
80 static AVFrame* current_frame = 0;
81 static struct SwsContext *img_convert_ctx = 0;
82
83 static uint8_t* video_buffer = 0;
84 static int video_buffersize = 0;
85
86 static uint8_t* audio_input_buffer = 0;
87 static int audio_input_samples = 0;
88 static uint8_t* audio_output_buffer = 0;
89 static int audio_outbuf_size = 0;
90 static double audio_time = 0.0f;
91
92 static AUD_Device* audio_mixdown_device = 0;
93
94 #define FFMPEG_AUTOSPLIT_SIZE 2000000000
95
96 /* Delete a picture buffer */
97
98 static void delete_picture(AVFrame* f)
99 {
100         if (f) {
101                 if (f->data[0]) MEM_freeN(f->data[0]);
102                 av_free(f);
103         }
104 }
105
106 static int write_audio_frame(void) 
107 {
108         AVCodecContext* c = NULL;
109         AVPacket pkt;
110
111         c = audio_stream->codec;
112
113         av_init_packet(&pkt);
114         pkt.size = 0;
115
116         AUD_readDevice(audio_mixdown_device, audio_input_buffer, audio_input_samples);
117         audio_time += (double) audio_input_samples / (double) c->sample_rate;
118
119         pkt.size = avcodec_encode_audio(c, audio_output_buffer,
120                                         audio_outbuf_size,
121                                         (short*) audio_input_buffer);
122
123         if(pkt.size < 0)
124         {
125                 // XXX error("Error writing audio packet");
126                 return -1;
127         }
128
129         pkt.data = audio_output_buffer;
130
131         if(c->coded_frame && c->coded_frame->pts != AV_NOPTS_VALUE)
132         {
133                 pkt.pts = av_rescale_q(c->coded_frame->pts,
134                                        c->time_base, audio_stream->time_base);
135                 fprintf(stderr, "Audio Frame PTS: %d\n", (int)pkt.pts);
136         }
137
138         pkt.stream_index = audio_stream->index;
139
140         pkt.flags |= AV_PKT_FLAG_KEY;
141
142         if (av_interleaved_write_frame(outfile, &pkt) != 0) {
143                 fprintf(stderr, "Error writing audio packet!\n");
144                 return -1;
145         }
146         return 0;
147 }
148
149 /* Allocate a temporary frame */
150 static AVFrame* alloc_picture(int pix_fmt, int width, int height) 
151 {
152         AVFrame* f;
153         uint8_t* buf;
154         int size;
155         
156         /* allocate space for the struct */
157         f = avcodec_alloc_frame();
158         if (!f) return NULL;
159         size = avpicture_get_size(pix_fmt, width, height);
160         /* allocate the actual picture buffer */
161         buf = MEM_mallocN(size, "AVFrame buffer");
162         if (!buf) {
163                 free(f);
164                 return NULL;
165         }
166         avpicture_fill((AVPicture*)f, buf, pix_fmt, width, height);
167         return f;
168 }
169
170 /* Get the correct file extensions for the requested format,
171    first is always desired guess_format parameter */
172 static const char** get_file_extensions(int format) 
173 {
174         switch(format) {
175         case FFMPEG_DV: {
176                 static const char * rv[] = { ".dv", NULL };
177                 return rv;
178         }
179         case FFMPEG_MPEG1: {
180                 static const char * rv[] = { ".mpg", ".mpeg", NULL };
181                 return rv;
182         }
183         case FFMPEG_MPEG2: {
184                 static const char * rv[] = { ".dvd", ".vob", ".mpg", ".mpeg",
185                                                  NULL };
186                 return rv;
187         }
188         case FFMPEG_MPEG4: {
189                 static const char * rv[] = { ".mp4", ".mpg", ".mpeg", NULL };
190                 return rv;
191         }
192         case FFMPEG_AVI: {
193                 static const char * rv[] = { ".avi", NULL };
194                 return rv;
195         }
196         case FFMPEG_MOV: {
197                 static const char * rv[] = { ".mov", NULL };
198                 return rv;
199         }
200         case FFMPEG_H264: {
201                 /* FIXME: avi for now... */
202                 static const char * rv[] = { ".avi", NULL };
203                 return rv;
204         }
205
206         case FFMPEG_XVID: {
207                 /* FIXME: avi for now... */
208                 static const char * rv[] = { ".avi", NULL };
209                 return rv;
210         }
211         case FFMPEG_FLV: {
212                 static const char * rv[] = { ".flv", NULL };
213                 return rv;
214         }
215         case FFMPEG_MKV: {
216                 static const char * rv[] = { ".mkv", NULL };
217                 return rv;
218         }
219         case FFMPEG_OGG: {
220                 static const char * rv[] = { ".ogg", ".ogv", NULL };
221                 return rv;
222         }
223         case FFMPEG_MP3: {
224                 static const char * rv[] = { ".mp3", NULL };
225                 return rv;
226         }
227         case FFMPEG_WAV: {
228                 static const char * rv[] = { ".wav", NULL };
229                 return rv;
230         }
231         default:
232                 return NULL;
233         }
234 }
235
236 /* Write a frame to the output file */
237 static int write_video_frame(RenderData *rd, AVFrame* frame, ReportList *reports)
238 {
239         int outsize = 0;
240         int ret, success= 1;
241         AVCodecContext* c = video_stream->codec;
242
243         frame->pts = rd->cfra - rd->sfra;
244
245         if (rd->mode & R_FIELDS) {
246                 frame->top_field_first = ((rd->mode & R_ODDFIELD) != 0);
247         }
248
249         outsize = avcodec_encode_video(c, video_buffer, video_buffersize, 
250                                            frame);
251         if (outsize != 0) {
252                 AVPacket packet;
253                 av_init_packet(&packet);
254
255                 if (c->coded_frame->pts != AV_NOPTS_VALUE) {
256                         packet.pts = av_rescale_q(c->coded_frame->pts,
257                                                   c->time_base,
258                                                   video_stream->time_base);
259                         fprintf(stderr, "Video Frame PTS: %d\n", (int)packet.pts);
260                 } else {
261                         fprintf(stderr, "Video Frame PTS: not set\n");
262                 }
263                 if (c->coded_frame->key_frame)
264                         packet.flags |= AV_PKT_FLAG_KEY;
265                 packet.stream_index = video_stream->index;
266                 packet.data = video_buffer;
267                 packet.size = outsize;
268                 ret = av_interleaved_write_frame(outfile, &packet);
269         } else {
270                 ret = 0;
271         }
272
273         if (ret != 0) {
274                 success= 0;
275                 BKE_report(reports, RPT_ERROR, "Error writing frame.");
276         }
277
278         return success;
279 }
280
281 /* read and encode a frame of audio from the buffer */
282 static AVFrame* generate_video_frame(uint8_t* pixels, ReportList *reports) 
283 {
284         uint8_t* rendered_frame;
285
286         AVCodecContext* c = video_stream->codec;
287         int width = c->width;
288         int height = c->height;
289         AVFrame* rgb_frame;
290
291         if (c->pix_fmt != PIX_FMT_BGR32) {
292                 rgb_frame = alloc_picture(PIX_FMT_BGR32, width, height);
293                 if (!rgb_frame) {
294                         BKE_report(reports, RPT_ERROR, "Couldn't allocate temporary frame.");
295                         return NULL;
296                 }
297         } else {
298                 rgb_frame = current_frame;
299         }
300
301         rendered_frame = pixels;
302
303         /* Do RGBA-conversion and flipping in one step depending
304            on CPU-Endianess */
305
306         if (ENDIAN_ORDER == L_ENDIAN) {
307                 int y;
308                 for (y = 0; y < height; y++) {
309                         uint8_t* target = rgb_frame->data[0]
310                                 + width * 4 * (height - y - 1);
311                         uint8_t* src = rendered_frame + width * 4 * y;
312                         uint8_t* end = src + width * 4;
313                         while (src != end) {
314                                 target[3] = src[3];
315                                 target[2] = src[2];
316                                 target[1] = src[1];
317                                 target[0] = src[0];
318
319                                 target += 4;
320                                 src += 4;
321                         }
322                 }
323         } else {
324                 int y;
325                 for (y = 0; y < height; y++) {
326                         uint8_t* target = rgb_frame->data[0]
327                                 + width * 4 * (height - y - 1);
328                         uint8_t* src = rendered_frame + width * 4 * y;
329                         uint8_t* end = src + width * 4;
330                         while (src != end) {
331                                 target[3] = src[0];
332                                 target[2] = src[1];
333                                 target[1] = src[2];
334                                 target[0] = src[3];
335
336                                 target += 4;
337                                 src += 4;
338                         }
339                 }
340         }
341
342         if (c->pix_fmt != PIX_FMT_BGR32) {
343                 sws_scale(img_convert_ctx, (const uint8_t * const*) rgb_frame->data,
344                           rgb_frame->linesize, 0, c->height, 
345                           current_frame->data, current_frame->linesize);
346                 delete_picture(rgb_frame);
347         }
348         return current_frame;
349 }
350
351 static void set_ffmpeg_property_option(AVCodecContext* c, IDProperty * prop)
352 {
353         char name[128];
354         char * param;
355         const AVOption * rv = NULL;
356
357         fprintf(stderr, "FFMPEG expert option: %s: ", prop->name);
358
359         BLI_strncpy(name, prop->name, sizeof(name));
360
361         param = strchr(name, ':');
362
363         if (param) {
364                 *param++ = 0;
365         }
366
367         switch(prop->type) {
368         case IDP_STRING:
369                 fprintf(stderr, "%s.\n", IDP_String(prop));
370                 av_set_string3(c, prop->name, IDP_String(prop), 1, &rv);
371                 break;
372         case IDP_FLOAT:
373                 fprintf(stderr, "%g.\n", IDP_Float(prop));
374                 rv = av_set_double(c, prop->name, IDP_Float(prop));
375                 break;
376         case IDP_INT:
377                 fprintf(stderr, "%d.\n", IDP_Int(prop));
378                 
379                 if (param) {
380                         if (IDP_Int(prop)) {
381                                 av_set_string3(c, name, param, 1, &rv);
382                         } else {
383                                 return;
384                         }
385                 } else {
386                         rv = av_set_int(c, prop->name, IDP_Int(prop));
387                 }
388                 break;
389         }
390
391         if (!rv) {
392                 fprintf(stderr, "ffmpeg-option not supported: %s! Skipping.\n",
393                         prop->name);
394         }
395 }
396
397 static void set_ffmpeg_properties(RenderData *rd, AVCodecContext *c, const char * prop_name)
398 {
399         IDProperty * prop;
400         void * iter;
401         IDProperty * curr;
402
403         if (!rd->ffcodecdata.properties) {
404                 return;
405         }
406         
407         prop = IDP_GetPropertyFromGroup(
408                 rd->ffcodecdata.properties, (char*) prop_name);
409         if (!prop) {
410                 return;
411         }
412
413         iter = IDP_GetGroupIterator(prop);
414
415         while ((curr = IDP_GroupIterNext(iter)) != NULL) {
416                 set_ffmpeg_property_option(c, curr);
417         }
418 }
419
420 /* prepare a video stream for the output file */
421
422 static AVStream* alloc_video_stream(RenderData *rd, int codec_id, AVFormatContext* of,
423                                         int rectx, int recty) 
424 {
425         AVStream* st;
426         AVCodecContext* c;
427         AVCodec* codec;
428         st = av_new_stream(of, 0);
429         if (!st) return NULL;
430
431         /* Set up the codec context */
432         
433         c = st->codec;
434         c->codec_id = codec_id;
435         c->codec_type = AVMEDIA_TYPE_VIDEO;
436
437
438         /* Get some values from the current render settings */
439         
440         c->width = rectx;
441         c->height = recty;
442
443         /* FIXME: Really bad hack (tm) for NTSC support */
444         if (ffmpeg_type == FFMPEG_DV && rd->frs_sec != 25) {
445                 c->time_base.den = 2997;
446                 c->time_base.num = 100;
447         } else if ((double) ((int) rd->frs_sec_base) == 
448                    rd->frs_sec_base) {
449                 c->time_base.den = rd->frs_sec;
450                 c->time_base.num = (int) rd->frs_sec_base;
451         } else {
452                 c->time_base.den = rd->frs_sec * 100000;
453                 c->time_base.num = ((double) rd->frs_sec_base) * 100000;
454         }
455         
456         c->gop_size = ffmpeg_gop_size;
457         c->bit_rate = ffmpeg_video_bitrate*1000;
458         c->rc_max_rate = rd->ffcodecdata.rc_max_rate*1000;
459         c->rc_min_rate = rd->ffcodecdata.rc_min_rate*1000;
460         c->rc_buffer_size = rd->ffcodecdata.rc_buffer_size * 1024;
461         c->rc_initial_buffer_occupancy 
462                 = rd->ffcodecdata.rc_buffer_size*3/4;
463         c->rc_buffer_aggressivity = 1.0;
464         c->me_method = ME_EPZS;
465         
466         codec = avcodec_find_encoder(c->codec_id);
467         if (!codec) return NULL;
468         
469         /* Be sure to use the correct pixel format(e.g. RGB, YUV) */
470         
471         if (codec->pix_fmts) {
472                 c->pix_fmt = codec->pix_fmts[0];
473         } else {
474                 /* makes HuffYUV happy ... */
475                 c->pix_fmt = PIX_FMT_YUV422P;
476         }
477
478         if (ffmpeg_type == FFMPEG_XVID) {
479                 /* arghhhh ... */
480                 c->pix_fmt = PIX_FMT_YUV420P;
481                 c->codec_tag = (('D'<<24) + ('I'<<16) + ('V'<<8) + 'X');
482         }
483
484         if (codec_id == CODEC_ID_H264) {
485                 /* correct wrong default ffmpeg param which crash x264 */
486                 c->qmin=10;
487                 c->qmax=51;
488         }
489         
490         if ((of->oformat->flags & AVFMT_GLOBALHEADER)
491 //              || !strcmp(of->oformat->name, "mp4")
492 //          || !strcmp(of->oformat->name, "mov")
493 //          || !strcmp(of->oformat->name, "3gp")
494                 ) {
495                 fprintf(stderr, "Using global header\n");
496                 c->flags |= CODEC_FLAG_GLOBAL_HEADER;
497         }
498         
499         /* Determine whether we are encoding interlaced material or not */
500         if (rd->mode & R_FIELDS) {
501                 fprintf(stderr, "Encoding interlaced video\n");
502                 c->flags |= CODEC_FLAG_INTERLACED_DCT;
503                 c->flags |= CODEC_FLAG_INTERLACED_ME;
504         }
505
506         /* xasp & yasp got float lately... */
507
508         st->sample_aspect_ratio = c->sample_aspect_ratio = av_d2q(
509                 ((double) rd->xasp / (double) rd->yasp), 255);
510
511         set_ffmpeg_properties(rd, c, "video");
512         
513         if (avcodec_open(c, codec) < 0) {
514                 //
515                 //XXX error("Couldn't initialize codec");
516                 return NULL;
517         }
518
519         video_buffersize = 2000000;
520         video_buffer = (uint8_t*)MEM_mallocN(video_buffersize, 
521                                                  "FFMPEG video buffer");
522         
523         current_frame = alloc_picture(c->pix_fmt, c->width, c->height);
524
525         img_convert_ctx = sws_getContext(c->width, c->height,
526                                          PIX_FMT_BGR32,
527                                          c->width, c->height,
528                                          c->pix_fmt,
529                                          SWS_BICUBIC,
530                                          NULL, NULL, NULL);
531         return st;
532 }
533
534 /* Prepare an audio stream for the output file */
535
536 static AVStream* alloc_audio_stream(RenderData *rd, int codec_id, AVFormatContext* of) 
537 {
538         AVStream* st;
539         AVCodecContext* c;
540         AVCodec* codec;
541
542         st = av_new_stream(of, 1);
543         if (!st) return NULL;
544
545         c = st->codec;
546         c->codec_id = codec_id;
547         c->codec_type = AVMEDIA_TYPE_AUDIO;
548
549         c->sample_rate = rd->ffcodecdata.audio_mixrate;
550         c->bit_rate = ffmpeg_audio_bitrate*1000;
551         c->sample_fmt = SAMPLE_FMT_S16;
552         c->channels = 2;
553         codec = avcodec_find_encoder(c->codec_id);
554         if (!codec) {
555                 //XXX error("Couldn't find a valid audio codec");
556                 return NULL;
557         }
558
559         set_ffmpeg_properties(rd, c, "audio");
560
561         if (avcodec_open(c, codec) < 0) {
562                 //XXX error("Couldn't initialize audio codec");
563                 return NULL;
564         }
565
566         audio_outbuf_size = FF_MIN_BUFFER_SIZE;
567
568         if((c->codec_id >= CODEC_ID_PCM_S16LE) && (c->codec_id <= CODEC_ID_PCM_DVD))
569                 audio_input_samples = audio_outbuf_size * 8 / c->bits_per_coded_sample / c->channels;
570         else
571         {
572                 audio_input_samples = c->frame_size;
573                 if(c->frame_size * c->channels * sizeof(int16_t) * 4 > audio_outbuf_size)
574                         audio_outbuf_size = c->frame_size * c->channels * sizeof(int16_t) * 4;
575         }
576
577         audio_output_buffer = (uint8_t*)MEM_mallocN(
578                 audio_outbuf_size, "FFMPEG audio encoder input buffer");
579
580         audio_input_buffer = (uint8_t*)MEM_mallocN(
581                 audio_input_samples * c->channels * sizeof(int16_t),
582                 "FFMPEG audio encoder output buffer");
583
584         audio_time = 0.0f;
585
586         return st;
587 }
588 /* essential functions -- start, append, end */
589
590 static int start_ffmpeg_impl(struct RenderData *rd, int rectx, int recty, ReportList *reports)
591 {
592         /* Handle to the output file */
593         AVFormatContext* of;
594         AVOutputFormat* fmt;
595         char name[256];
596         const char ** exts;
597
598         ffmpeg_type = rd->ffcodecdata.type;
599         ffmpeg_codec = rd->ffcodecdata.codec;
600         ffmpeg_audio_codec = rd->ffcodecdata.audio_codec;
601         ffmpeg_video_bitrate = rd->ffcodecdata.video_bitrate;
602         ffmpeg_audio_bitrate = rd->ffcodecdata.audio_bitrate;
603         ffmpeg_gop_size = rd->ffcodecdata.gop_size;
604         ffmpeg_autosplit = rd->ffcodecdata.flags
605                 & FFMPEG_AUTOSPLIT_OUTPUT;
606         
607         do_init_ffmpeg();
608
609         /* Determine the correct filename */
610         filepath_ffmpeg(name, rd);
611         fprintf(stderr, "Starting output to %s(ffmpeg)...\n"
612                 "  Using type=%d, codec=%d, audio_codec=%d,\n"
613                 "  video_bitrate=%d, audio_bitrate=%d,\n"
614                 "  gop_size=%d, autosplit=%d\n"
615                 "  render width=%d, render height=%d\n", 
616                 name, ffmpeg_type, ffmpeg_codec, ffmpeg_audio_codec,
617                 ffmpeg_video_bitrate, ffmpeg_audio_bitrate,
618                 ffmpeg_gop_size, ffmpeg_autosplit, rectx, recty);
619         
620         exts = get_file_extensions(ffmpeg_type);
621         if (!exts) {
622                 BKE_report(reports, RPT_ERROR, "No valid formats found.");
623                 return 0;
624         }
625         fmt = av_guess_format(NULL, exts[0], NULL);
626         if (!fmt) {
627                 BKE_report(reports, RPT_ERROR, "No valid formats found.");
628                 return 0;
629         }
630
631         of = avformat_alloc_context();
632         if (!of) {
633                 BKE_report(reports, RPT_ERROR, "Error opening output file");
634                 return 0;
635         }
636         
637         of->oformat = fmt;
638         of->packet_size= rd->ffcodecdata.mux_packet_size;
639         if (ffmpeg_audio_codec != CODEC_ID_NONE) {
640                 of->mux_rate = rd->ffcodecdata.mux_rate;
641         } else {
642                 of->mux_rate = 0;
643         }
644
645         of->preload = (int)(0.5*AV_TIME_BASE);
646         of->max_delay = (int)(0.7*AV_TIME_BASE);
647
648         fmt->audio_codec = ffmpeg_audio_codec;
649
650         snprintf(of->filename, sizeof(of->filename), "%s", name);
651         /* set the codec to the user's selection */
652         switch(ffmpeg_type) {
653         case FFMPEG_AVI:
654         case FFMPEG_MOV:
655         case FFMPEG_OGG:
656         case FFMPEG_MKV:
657                 fmt->video_codec = ffmpeg_codec;
658                 break;
659         case FFMPEG_DV:
660                 fmt->video_codec = CODEC_ID_DVVIDEO;
661                 break;
662         case FFMPEG_MPEG1:
663                 fmt->video_codec = CODEC_ID_MPEG1VIDEO;
664                 break;
665         case FFMPEG_MPEG2:
666                 fmt->video_codec = CODEC_ID_MPEG2VIDEO;
667                 break;
668         case FFMPEG_H264:
669                 fmt->video_codec = CODEC_ID_H264;
670                 break;
671         case FFMPEG_XVID:
672                 fmt->video_codec = CODEC_ID_MPEG4;
673                 break;
674         case FFMPEG_FLV:
675                 fmt->video_codec = CODEC_ID_FLV1;
676                 break;
677         case FFMPEG_MP3:
678                 fmt->audio_codec = CODEC_ID_MP3;
679         case FFMPEG_WAV:
680                 fmt->video_codec = CODEC_ID_NONE;
681                 break;
682         case FFMPEG_MPEG4:
683         default:
684                 fmt->video_codec = CODEC_ID_MPEG4;
685                 break;
686         }
687         if (fmt->video_codec == CODEC_ID_DVVIDEO) {
688                 if (rectx != 720) {
689                         BKE_report(reports, RPT_ERROR, "Render width has to be 720 pixels for DV!");
690                         return 0;
691                 }
692                 if (rd->frs_sec != 25 && recty != 480) {
693                         BKE_report(reports, RPT_ERROR, "Render height has to be 480 pixels for DV-NTSC!");
694                         return 0;
695                 }
696                 if (rd->frs_sec == 25 && recty != 576) {
697                         BKE_report(reports, RPT_ERROR, "Render height has to be 576 pixels for DV-PAL!");
698                         return 0;
699                 }
700         }
701         
702         if (ffmpeg_type == FFMPEG_DV) {
703                 fmt->audio_codec = CODEC_ID_PCM_S16LE;
704                 if (ffmpeg_audio_codec != CODEC_ID_NONE && rd->ffcodecdata.audio_mixrate != 48000) {
705                         BKE_report(reports, RPT_ERROR, "FFMPEG only supports 48khz / stereo audio for DV!");
706                         return 0;
707                 }
708         }
709         
710         if (fmt->video_codec != CODEC_ID_NONE) {
711                 video_stream = alloc_video_stream(rd, fmt->video_codec, of, rectx, recty);
712                 printf("alloc video stream %p\n", video_stream);
713                 if (!video_stream) {
714                         BKE_report(reports, RPT_ERROR, "Error initializing video stream.");
715                         return 0;
716                 }
717         }
718
719         if (ffmpeg_audio_codec != CODEC_ID_NONE) {
720                 audio_stream = alloc_audio_stream(rd, fmt->audio_codec, of);
721                 if (!audio_stream) {
722                         BKE_report(reports, RPT_ERROR, "Error initializing audio stream.");
723                         return 0;
724                 }
725         }
726         if (av_set_parameters(of, NULL) < 0) {
727                 BKE_report(reports, RPT_ERROR, "Error setting output parameters.");
728                 return 0;
729         }
730         if (!(fmt->flags & AVFMT_NOFILE)) {
731                 if (avio_open(&of->pb, name, AVIO_FLAG_WRITE) < 0) {
732                         BKE_report(reports, RPT_ERROR, "Could not open file for writing.");
733                         return 0;
734                 }
735         }
736
737         av_write_header(of);
738         outfile = of;
739         av_dump_format(of, 0, name, 1);
740
741         return 1;
742 }
743
744 /**
745  * Writes any delayed frames in the encoder. This function is called before 
746  * closing the encoder.
747  *
748  * <p>
749  * Since an encoder may use both past and future frames to predict 
750  * inter-frames (H.264 B-frames, for example), it can output the frames 
751  * in a different order from the one it was given.
752  * For example, when sending frames 1, 2, 3, 4 to the encoder, it may write
753  * them in the order 1, 4, 2, 3 - first the two frames used for predition, 
754  * and then the bidirectionally-predicted frames. What this means in practice 
755  * is that the encoder may not immediately produce one output frame for each 
756  * input frame. These delayed frames must be flushed before we close the 
757  * stream. We do this by calling avcodec_encode_video with NULL for the last 
758  * parameter.
759  * </p>
760  */
761 void flush_ffmpeg(void)
762 {
763         int outsize = 0;
764         int ret = 0;
765         
766         AVCodecContext* c = video_stream->codec;
767         /* get the delayed frames */
768         while (1) {
769                 AVPacket packet;
770                 av_init_packet(&packet);
771                 
772                 outsize = avcodec_encode_video(c, video_buffer, video_buffersize, NULL);
773                 if (outsize < 0) {
774                         fprintf(stderr, "Error encoding delayed frame %d\n", outsize);
775                         break;
776                 }
777                 if (outsize == 0) {
778                         break;
779                 }
780                 if (c->coded_frame->pts != AV_NOPTS_VALUE) {
781                         packet.pts = av_rescale_q(c->coded_frame->pts,
782                                                   c->time_base,
783                                                   video_stream->time_base);
784                         fprintf(stderr, "Video Frame PTS: %d\n", (int)packet.pts);
785                 } else {
786                         fprintf(stderr, "Video Frame PTS: not set\n");
787                 }
788                 if (c->coded_frame->key_frame) {
789                         packet.flags |= AV_PKT_FLAG_KEY;
790                 }
791                 packet.stream_index = video_stream->index;
792                 packet.data = video_buffer;
793                 packet.size = outsize;
794                 ret = av_interleaved_write_frame(outfile, &packet);
795                 if (ret != 0) {
796                         fprintf(stderr, "Error writing delayed frame %d\n", ret);
797                         break;
798                 }
799         }
800         avcodec_flush_buffers(video_stream->codec);
801 }
802
803 /* **********************************************************************
804    * public interface
805    ********************************************************************** */
806
807 /* Get the output filename-- similar to the other output formats */
808 void filepath_ffmpeg(char* string, RenderData* rd) {
809         char autosplit[20];
810
811         const char ** exts = get_file_extensions(rd->ffcodecdata.type);
812         const char ** fe = exts;
813
814         if (!string || !exts) return;
815
816         strcpy(string, rd->pic);
817         BLI_path_abs(string, G.main->name);
818
819         BLI_make_existing_file(string);
820
821         autosplit[0] = 0;
822
823         if ((rd->ffcodecdata.flags & FFMPEG_AUTOSPLIT_OUTPUT) != 0) {
824                 sprintf(autosplit, "_%03d", ffmpeg_autosplit_count);
825         }
826
827         while (*fe) {
828                 if (BLI_strcasecmp(string + strlen(string) - strlen(*fe), 
829                                    *fe) == 0) {
830                         break;
831                 }
832                 fe++;
833         }
834
835         if (!*fe) {
836                 strcat(string, autosplit);
837
838                 BLI_path_frame_range(string, rd->sfra, rd->efra, 4);
839                 strcat(string, *exts);
840         } else {
841                 *(string + strlen(string) - strlen(*fe)) = 0;
842                 strcat(string, autosplit);
843                 strcat(string, *fe);
844         }
845 }
846
847 int start_ffmpeg(struct Scene *scene, RenderData *rd, int rectx, int recty, ReportList *reports)
848 {
849         int success;
850
851         ffmpeg_autosplit_count = 0;
852
853         success = start_ffmpeg_impl(rd, rectx, recty, reports);
854
855         if(audio_stream)
856         {
857                 AVCodecContext* c = audio_stream->codec;
858                 AUD_DeviceSpecs specs;
859                 specs.channels = c->channels;
860                 specs.format = AUD_FORMAT_S16;
861                 specs.rate = rd->ffcodecdata.audio_mixrate;
862                 audio_mixdown_device = sound_mixdown(scene, specs, rd->sfra, rd->ffcodecdata.audio_volume);
863         }
864
865         return success;
866 }
867
868 void end_ffmpeg(void);
869
870 static void write_audio_frames(double to_pts)
871 {
872         int finished = 0;
873
874         while (audio_stream && !finished) {
875                 if((audio_time >= to_pts) ||
876                    (write_audio_frame())) {
877                         finished = 1;
878                 }
879         }
880 }
881
882 int append_ffmpeg(RenderData *rd, int frame, int *pixels, int rectx, int recty, ReportList *reports) 
883 {
884         AVFrame* avframe;
885         int success = 1;
886
887         fprintf(stderr, "Writing frame %i, "
888                 "render width=%d, render height=%d\n", frame,
889                 rectx, recty);
890
891 // why is this done before writing the video frame and again at end_ffmpeg?
892 //      write_audio_frames(frame / (((double)rd->frs_sec) / rd->frs_sec_base));
893
894         if(video_stream)
895         {
896                 avframe= generate_video_frame((unsigned char*) pixels, reports);
897                 success= (avframe && write_video_frame(rd, avframe, reports));
898
899                 if (ffmpeg_autosplit) {
900                         if (avio_tell(outfile->pb) > FFMPEG_AUTOSPLIT_SIZE) {
901                                 end_ffmpeg();
902                                 ffmpeg_autosplit_count++;
903                                 success &= start_ffmpeg_impl(rd, rectx, recty, reports);
904                         }
905                 }
906         }
907
908         write_audio_frames((frame - rd->sfra) / (((double)rd->frs_sec) / rd->frs_sec_base));
909
910         return success;
911 }
912
913 void end_ffmpeg(void)
914 {
915         unsigned int i;
916         
917         fprintf(stderr, "Closing ffmpeg...\n");
918
919 /*      if (audio_stream) { SEE UPPER
920                 write_audio_frames();
921         }*/
922
923         if(audio_mixdown_device)
924         {
925                 AUD_closeReadDevice(audio_mixdown_device);
926                 audio_mixdown_device = 0;
927         }
928         
929         if (video_stream && video_stream->codec) {
930                 fprintf(stderr, "Flushing delayed frames...\n");
931                 flush_ffmpeg ();                
932         }
933         
934         if (outfile) {
935                 av_write_trailer(outfile);
936         }
937         
938         /* Close the video codec */
939
940         if (video_stream && video_stream->codec) {
941                 avcodec_close(video_stream->codec);
942                 printf("zero video stream %p\n", video_stream);
943                 video_stream = 0;
944         }
945
946         
947         /* Close the output file */
948         if (outfile) {
949                 for (i = 0; i < outfile->nb_streams; i++) {
950                         if (&outfile->streams[i]) {
951                                 av_freep(&outfile->streams[i]);
952                         }
953                 }
954         }
955         /* free the temp buffer */
956         if (current_frame) {
957                 delete_picture(current_frame);
958                 current_frame = 0;
959         }
960         if (outfile && outfile->oformat) {
961                 if (!(outfile->oformat->flags & AVFMT_NOFILE)) {
962                         avio_close(outfile->pb);
963                 }
964         }
965         if (outfile) {
966                 av_free(outfile);
967                 outfile = 0;
968         }
969         if (video_buffer) {
970                 MEM_freeN(video_buffer);
971                 video_buffer = 0;
972         }
973         if (audio_output_buffer) {
974                 MEM_freeN(audio_output_buffer);
975                 audio_output_buffer = 0;
976         }
977         if (audio_input_buffer) {
978                 MEM_freeN(audio_input_buffer);
979                 audio_input_buffer = 0;
980         }
981
982         if (img_convert_ctx) {
983                 sws_freeContext(img_convert_ctx);
984                 img_convert_ctx = 0;
985         }
986 }
987
988 /* properties */
989
990 void ffmpeg_property_del(RenderData *rd, void *type, void *prop_)
991 {
992         struct IDProperty *prop = (struct IDProperty *) prop_;
993         IDProperty * group;
994         
995         if (!rd->ffcodecdata.properties) {
996                 return;
997         }
998
999         group = IDP_GetPropertyFromGroup(
1000                 rd->ffcodecdata.properties, (char*) type);
1001         if (group && prop) {
1002                 IDP_RemFromGroup(group, prop);
1003                 IDP_FreeProperty(prop);
1004                 MEM_freeN(prop);
1005         }
1006 }
1007
1008 IDProperty *ffmpeg_property_add(RenderData *rd, char * type, int opt_index, int parent_index)
1009 {
1010         AVCodecContext c;
1011         const AVOption * o;
1012         const AVOption * parent;
1013         IDProperty * group;
1014         IDProperty * prop;
1015         IDPropertyTemplate val;
1016         int idp_type;
1017         char name[256];
1018         
1019         val.i = 0;
1020
1021         avcodec_get_context_defaults(&c);
1022
1023         o = c.av_class->option + opt_index;
1024         parent = c.av_class->option + parent_index;
1025
1026         if (!rd->ffcodecdata.properties) {
1027                 rd->ffcodecdata.properties 
1028                         = IDP_New(IDP_GROUP, val, "ffmpeg"); 
1029         }
1030
1031         group = IDP_GetPropertyFromGroup(
1032                 rd->ffcodecdata.properties, (char*) type);
1033         
1034         if (!group) {
1035                 group = IDP_New(IDP_GROUP, val, (char*) type); 
1036                 IDP_AddToGroup(rd->ffcodecdata.properties, group);
1037         }
1038
1039         if (parent_index) {
1040                 sprintf(name, "%s:%s", parent->name, o->name);
1041         } else {
1042                 strcpy(name, o->name);
1043         }
1044
1045         fprintf(stderr, "ffmpeg_property_add: %s %d %d %s\n",
1046                 type, parent_index, opt_index, name);
1047
1048         prop = IDP_GetPropertyFromGroup(group, name);
1049         if (prop) {
1050                 return prop;
1051         }
1052
1053         switch (o->type) {
1054         case FF_OPT_TYPE_INT:
1055         case FF_OPT_TYPE_INT64:
1056                 val.i = FFMPEG_DEF_OPT_VAL_INT(o);
1057                 idp_type = IDP_INT;
1058                 break;
1059         case FF_OPT_TYPE_DOUBLE:
1060         case FF_OPT_TYPE_FLOAT:
1061                 val.f = FFMPEG_DEF_OPT_VAL_DOUBLE(o);
1062                 idp_type = IDP_FLOAT;
1063                 break;
1064         case FF_OPT_TYPE_STRING:
1065                 val.str = "                                                                               ";
1066                 idp_type = IDP_STRING;
1067                 break;
1068         case FF_OPT_TYPE_CONST:
1069                 val.i = 1;
1070                 idp_type = IDP_INT;
1071                 break;
1072         default:
1073                 return NULL;
1074         }
1075         prop = IDP_New(idp_type, val, name);
1076         IDP_AddToGroup(group, prop);
1077         return prop;
1078 }
1079
1080 /* not all versions of ffmpeg include that, so here we go ... */
1081
1082 static const AVOption *my_av_find_opt(void *v, const char *name, 
1083                                           const char *unit, int mask, int flags){
1084         AVClass *c= *(AVClass**)v; 
1085         const AVOption *o= c->option;
1086
1087         for(;o && o->name; o++){
1088                 if(!strcmp(o->name, name) && 
1089                    (!unit || (o->unit && !strcmp(o->unit, unit))) && 
1090                    (o->flags & mask) == flags )
1091                         return o;
1092         }
1093         return NULL;
1094 }
1095
1096 int ffmpeg_property_add_string(RenderData *rd, const char * type, const char * str)
1097 {
1098         AVCodecContext c;
1099         const AVOption * o = 0;
1100         const AVOption * p = 0;
1101         char name_[128];
1102         char * name;
1103         char * param;
1104         IDProperty * prop;
1105         
1106         avcodec_get_context_defaults(&c);
1107
1108         strncpy(name_, str, sizeof(name_));
1109
1110         name = name_;
1111         while (*name == ' ') name++;
1112
1113         param = strchr(name, ':');
1114
1115         if (!param) {
1116                 param = strchr(name, ' ');
1117         }
1118         if (param) {
1119                 *param++ = 0;
1120                 while (*param == ' ') param++;
1121         }
1122         
1123         o = my_av_find_opt(&c, name, NULL, 0, 0);       
1124         if (!o) {
1125                 return 0;
1126         }
1127         if (param && o->type == FF_OPT_TYPE_CONST) {
1128                 return 0;
1129         }
1130         if (param && o->type != FF_OPT_TYPE_CONST && o->unit) {
1131                 p = my_av_find_opt(&c, param, o->unit, 0, 0);   
1132                 prop = ffmpeg_property_add(rd,
1133                         (char*) type, p - c.av_class->option, 
1134                         o - c.av_class->option);
1135         } else {
1136                 prop = ffmpeg_property_add(rd,
1137                         (char*) type, o - c.av_class->option, 0);
1138         }
1139                 
1140
1141         if (!prop) {
1142                 return 0;
1143         }
1144
1145         if (param && !p) {
1146                 switch (prop->type) {
1147                 case IDP_INT:
1148                         IDP_Int(prop) = atoi(param);
1149                         break;
1150                 case IDP_FLOAT:
1151                         IDP_Float(prop) = atof(param);
1152                         break;
1153                 case IDP_STRING:
1154                         strncpy(IDP_String(prop), param, prop->len);
1155                         break;
1156                 }
1157         }
1158         return 1;
1159 }
1160
1161 void ffmpeg_set_preset(RenderData *rd, int preset)
1162 {
1163         int isntsc = (rd->frs_sec != 25);
1164
1165         switch (preset) {
1166         case FFMPEG_PRESET_VCD:
1167                 rd->ffcodecdata.type = FFMPEG_MPEG1;
1168                 rd->ffcodecdata.video_bitrate = 1150;
1169                 rd->xsch = 352;
1170                 rd->ysch = isntsc ? 240 : 288;
1171                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1172                 rd->ffcodecdata.rc_max_rate = 1150;
1173                 rd->ffcodecdata.rc_min_rate = 1150;
1174                 rd->ffcodecdata.rc_buffer_size = 40*8;
1175                 rd->ffcodecdata.mux_packet_size = 2324;
1176                 rd->ffcodecdata.mux_rate = 2352 * 75 * 8;
1177                 break;
1178
1179         case FFMPEG_PRESET_SVCD:
1180                 rd->ffcodecdata.type = FFMPEG_MPEG2;
1181                 rd->ffcodecdata.video_bitrate = 2040;
1182                 rd->xsch = 480;
1183                 rd->ysch = isntsc ? 480 : 576;
1184                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1185                 rd->ffcodecdata.rc_max_rate = 2516;
1186                 rd->ffcodecdata.rc_min_rate = 0;
1187                 rd->ffcodecdata.rc_buffer_size = 224*8;
1188                 rd->ffcodecdata.mux_packet_size = 2324;
1189                 rd->ffcodecdata.mux_rate = 0;
1190                 break;
1191
1192         case FFMPEG_PRESET_DVD:
1193                 rd->ffcodecdata.type = FFMPEG_MPEG2;
1194                 rd->ffcodecdata.video_bitrate = 6000;
1195                 rd->xsch = 720;
1196                 rd->ysch = isntsc ? 480 : 576;
1197                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1198                 rd->ffcodecdata.rc_max_rate = 9000;
1199                 rd->ffcodecdata.rc_min_rate = 0;
1200                 rd->ffcodecdata.rc_buffer_size = 224*8;
1201                 rd->ffcodecdata.mux_packet_size = 2048;
1202                 rd->ffcodecdata.mux_rate = 10080000;
1203                 break;
1204
1205         case FFMPEG_PRESET_DV:
1206                 rd->ffcodecdata.type = FFMPEG_DV;
1207                 rd->xsch = 720;
1208                 rd->ysch = isntsc ? 480 : 576;
1209                 break;
1210
1211         case FFMPEG_PRESET_H264:
1212                 rd->ffcodecdata.type = FFMPEG_AVI;
1213                 rd->ffcodecdata.codec = CODEC_ID_H264;
1214                 rd->ffcodecdata.video_bitrate = 6000;
1215                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1216                 rd->ffcodecdata.rc_max_rate = 9000;
1217                 rd->ffcodecdata.rc_min_rate = 0;
1218                 rd->ffcodecdata.rc_buffer_size = 224*8;
1219                 rd->ffcodecdata.mux_packet_size = 2048;
1220                 rd->ffcodecdata.mux_rate = 10080000;
1221
1222                 /*
1223                  * All options here are for x264, but must be set via ffmpeg.
1224                  * The names are therefore different - Search for "x264 to FFmpeg option mapping"
1225                  * to get a list.
1226                  */
1227                 
1228                 /*
1229                  * Use CABAC coder. Using "coder:1", which should be equivalent,
1230                  * crashes Blender for some reason. Either way - this is no big deal.
1231                  */
1232                 ffmpeg_property_add_string(rd, "video", "coder:vlc");
1233                 
1234                 /* 
1235                  * The other options were taken from the libx264-default.preset
1236                  * included in the ffmpeg distribution.
1237                  */
1238                 ffmpeg_property_add_string(rd, "video", "flags:loop");
1239                 ffmpeg_property_add_string(rd, "video", "cmp:chroma");
1240                 ffmpeg_property_add_string(rd, "video", "partitions:parti4x4");
1241                 ffmpeg_property_add_string(rd, "video", "partitions:partp8x8");
1242                 ffmpeg_property_add_string(rd, "video", "partitions:partb8x8");
1243                 ffmpeg_property_add_string(rd, "video", "me:hex");
1244                 ffmpeg_property_add_string(rd, "video", "subq:6");
1245                 ffmpeg_property_add_string(rd, "video", "me_range:16");
1246                 ffmpeg_property_add_string(rd, "video", "qdiff:4");
1247                 ffmpeg_property_add_string(rd, "video", "keyint_min:25");
1248                 ffmpeg_property_add_string(rd, "video", "sc_threshold:40");
1249                 ffmpeg_property_add_string(rd, "video", "i_qfactor:0.71");
1250                 ffmpeg_property_add_string(rd, "video", "b_strategy:1");
1251                 ffmpeg_property_add_string(rd, "video", "bf:3");
1252                 ffmpeg_property_add_string(rd, "video", "refs:2");
1253                 ffmpeg_property_add_string(rd, "video", "qcomp:0.6");
1254                 ffmpeg_property_add_string(rd, "video", "directpred:3");
1255                 ffmpeg_property_add_string(rd, "video", "trellis:0");
1256                 ffmpeg_property_add_string(rd, "video", "flags2:wpred");
1257                 ffmpeg_property_add_string(rd, "video", "flags2:dct8x8");
1258                 ffmpeg_property_add_string(rd, "video", "flags2:fastpskip");
1259                 ffmpeg_property_add_string(rd, "video", "wpredp:2");
1260                 
1261                 // This makes x264 output lossless. Will be a separate option later.
1262                 //ffmpeg_property_add_string(rd, "video", "cqp:0");
1263                 break;
1264
1265         case FFMPEG_PRESET_THEORA:
1266         case FFMPEG_PRESET_XVID:
1267                 if(preset == FFMPEG_PRESET_XVID) {
1268                         rd->ffcodecdata.type = FFMPEG_AVI;
1269                         rd->ffcodecdata.codec = CODEC_ID_MPEG4;
1270                 }
1271                 else if(preset == FFMPEG_PRESET_THEORA) {
1272                         rd->ffcodecdata.type = FFMPEG_OGG; // XXX broken
1273                         rd->ffcodecdata.codec = CODEC_ID_THEORA;
1274                 }
1275
1276                 rd->ffcodecdata.video_bitrate = 6000;
1277                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1278                 rd->ffcodecdata.rc_max_rate = 9000;
1279                 rd->ffcodecdata.rc_min_rate = 0;
1280                 rd->ffcodecdata.rc_buffer_size = 224*8;
1281                 rd->ffcodecdata.mux_packet_size = 2048;
1282                 rd->ffcodecdata.mux_rate = 10080000;
1283                 break;
1284
1285         }
1286 }
1287
1288 void ffmpeg_verify_image_type(RenderData *rd)
1289 {
1290         int audio= 0;
1291
1292         if(rd->imtype == R_FFMPEG) {
1293                 if(rd->ffcodecdata.type <= 0 ||
1294                    rd->ffcodecdata.codec <= 0 ||
1295                    rd->ffcodecdata.audio_codec <= 0 ||
1296                    rd->ffcodecdata.video_bitrate <= 1) {
1297
1298                         rd->ffcodecdata.codec = CODEC_ID_MPEG2VIDEO;
1299                         /* Don't set preset, disturbs render resolution.
1300                          * ffmpeg_set_preset(rd, FFMPEG_PRESET_DVD); */
1301                 }
1302
1303                 audio= 1;
1304         }
1305         else if(rd->imtype == R_H264) {
1306                 if(rd->ffcodecdata.codec != CODEC_ID_H264) {
1307                         ffmpeg_set_preset(rd, FFMPEG_PRESET_H264);
1308                         audio= 1;
1309                 }
1310         }
1311         else if(rd->imtype == R_XVID) {
1312                 if(rd->ffcodecdata.codec != CODEC_ID_MPEG4) {
1313                         ffmpeg_set_preset(rd, FFMPEG_PRESET_XVID);
1314                         audio= 1;
1315                 }
1316         }
1317         else if(rd->imtype == R_THEORA) {
1318                 if(rd->ffcodecdata.codec != CODEC_ID_THEORA) {
1319                         ffmpeg_set_preset(rd, FFMPEG_PRESET_THEORA);
1320                         audio= 1;
1321                 }
1322         }
1323
1324         if(audio && rd->ffcodecdata.audio_codec < 0) {
1325                 rd->ffcodecdata.audio_codec = CODEC_ID_NONE;
1326                 rd->ffcodecdata.audio_bitrate = 128;
1327         }
1328 }
1329
1330 #endif
1331