3D Audio GSoC:
[blender.git] / source / blender / blenkernel / intern / writeffmpeg.c
1 /** \file blender/blenkernel/intern/writeffmpeg.c
2  *  \ingroup bke
3  */
4 /*
5  * $Id$
6  *
7  * ffmpeg-write support
8  *
9  * Partial Copyright (c) 2006 Peter Schlaile
10  *
11  * This program is free software; you can redistribute it and/or modify
12  * it under the terms of the GNU General Public License as published by
13  * the Free Software Foundation; either version 2 of the License, or
14  * (at your option) any later version.
15  *
16  * This program is distributed in the hope that it will be useful,
17  * but WITHOUT ANY WARRANTY; without even the implied warranty of
18  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19  * GNU General Public License for more details.
20  *
21  */
22
23 #ifdef WITH_FFMPEG
24 #include <string.h>
25 #include <stdio.h>
26
27 #if defined(_WIN32) && defined(DEBUG) && !defined(__MINGW32__) && !defined(__CYGWIN__)
28 /* This does not seem necessary or present on MSVC 8, but may be needed in earlier versions? */
29 #if _MSC_VER < 1400
30 #include <stdint.h>
31 #endif
32 #endif
33
34 #include <stdlib.h>
35
36 #include <libavformat/avformat.h>
37 #include <libavcodec/avcodec.h>
38 #include <libavutil/rational.h>
39 #include <libswscale/swscale.h>
40 #include <libavcodec/opt.h>
41
42 #if defined(WIN32) && (!(defined snprintf))
43 #define snprintf _snprintf
44 #endif
45
46 #include "MEM_guardedalloc.h"
47
48 #include "DNA_scene_types.h"
49
50 #include "BLI_blenlib.h"
51
52 #include "AUD_C-API.h" /* must be before BKE_sound.h for define */
53
54 #include "BKE_global.h"
55 #include "BKE_idprop.h"
56 #include "BKE_main.h"
57 #include "BKE_report.h"
58 #include "BKE_sound.h"
59 #include "BKE_writeffmpeg.h"
60
61 #include "IMB_imbuf_types.h"
62 #include "IMB_imbuf.h"
63
64 #include "ffmpeg_compat.h"
65
66 extern void do_init_ffmpeg(void);
67
68 static int ffmpeg_type = 0;
69 static int ffmpeg_codec = CODEC_ID_MPEG4;
70 static int ffmpeg_audio_codec = CODEC_ID_NONE;
71 static int ffmpeg_video_bitrate = 1150;
72 static int ffmpeg_audio_bitrate = 128;
73 static int ffmpeg_gop_size = 12;
74 static int ffmpeg_autosplit = 0;
75 static int ffmpeg_autosplit_count = 0;
76
77 static AVFormatContext* outfile = 0;
78 static AVStream* video_stream = 0;
79 static AVStream* audio_stream = 0;
80 static AVFrame* current_frame = 0;
81 static struct SwsContext *img_convert_ctx = 0;
82
83 static uint8_t* video_buffer = 0;
84 static int video_buffersize = 0;
85
86 static uint8_t* audio_input_buffer = 0;
87 static int audio_input_samples = 0;
88 static uint8_t* audio_output_buffer = 0;
89 static int audio_outbuf_size = 0;
90 static double audio_time = 0.0f;
91
92 static AUD_Device* audio_mixdown_device = 0;
93
94 #define FFMPEG_AUTOSPLIT_SIZE 2000000000
95
96 /* Delete a picture buffer */
97
98 static void delete_picture(AVFrame* f)
99 {
100         if (f) {
101                 if (f->data[0]) MEM_freeN(f->data[0]);
102                 av_free(f);
103         }
104 }
105
106 static int write_audio_frame(void) 
107 {
108         AVCodecContext* c = NULL;
109         AVPacket pkt;
110
111         c = audio_stream->codec;
112
113         av_init_packet(&pkt);
114         pkt.size = 0;
115
116         AUD_readDevice(audio_mixdown_device, audio_input_buffer, audio_input_samples);
117         audio_time += (double) audio_input_samples / (double) c->sample_rate;
118
119         pkt.size = avcodec_encode_audio(c, audio_output_buffer,
120                                         audio_outbuf_size,
121                                         (short*) audio_input_buffer);
122
123         if(pkt.size < 0)
124         {
125                 // XXX error("Error writing audio packet");
126                 return -1;
127         }
128
129         pkt.data = audio_output_buffer;
130
131         if(c->coded_frame && c->coded_frame->pts != AV_NOPTS_VALUE)
132         {
133                 pkt.pts = av_rescale_q(c->coded_frame->pts,
134                                        c->time_base, audio_stream->time_base);
135                 fprintf(stderr, "Audio Frame PTS: %d\n", (int)pkt.pts);
136         }
137
138         pkt.stream_index = audio_stream->index;
139
140         pkt.flags |= AV_PKT_FLAG_KEY;
141
142         if (av_interleaved_write_frame(outfile, &pkt) != 0) {
143                 fprintf(stderr, "Error writing audio packet!\n");
144                 return -1;
145         }
146         return 0;
147 }
148
149 /* Allocate a temporary frame */
150 static AVFrame* alloc_picture(int pix_fmt, int width, int height) 
151 {
152         AVFrame* f;
153         uint8_t* buf;
154         int size;
155         
156         /* allocate space for the struct */
157         f = avcodec_alloc_frame();
158         if (!f) return NULL;
159         size = avpicture_get_size(pix_fmt, width, height);
160         /* allocate the actual picture buffer */
161         buf = MEM_mallocN(size, "AVFrame buffer");
162         if (!buf) {
163                 free(f);
164                 return NULL;
165         }
166         avpicture_fill((AVPicture*)f, buf, pix_fmt, width, height);
167         return f;
168 }
169
170 /* Get the correct file extensions for the requested format,
171    first is always desired guess_format parameter */
172 static const char** get_file_extensions(int format) 
173 {
174         switch(format) {
175         case FFMPEG_DV: {
176                 static const char * rv[] = { ".dv", NULL };
177                 return rv;
178         }
179         case FFMPEG_MPEG1: {
180                 static const char * rv[] = { ".mpg", ".mpeg", NULL };
181                 return rv;
182         }
183         case FFMPEG_MPEG2: {
184                 static const char * rv[] = { ".dvd", ".vob", ".mpg", ".mpeg",
185                                                  NULL };
186                 return rv;
187         }
188         case FFMPEG_MPEG4: {
189                 static const char * rv[] = { ".mp4", ".mpg", ".mpeg", NULL };
190                 return rv;
191         }
192         case FFMPEG_AVI: {
193                 static const char * rv[] = { ".avi", NULL };
194                 return rv;
195         }
196         case FFMPEG_MOV: {
197                 static const char * rv[] = { ".mov", NULL };
198                 return rv;
199         }
200         case FFMPEG_H264: {
201                 /* FIXME: avi for now... */
202                 static const char * rv[] = { ".avi", NULL };
203                 return rv;
204         }
205
206         case FFMPEG_XVID: {
207                 /* FIXME: avi for now... */
208                 static const char * rv[] = { ".avi", NULL };
209                 return rv;
210         }
211         case FFMPEG_FLV: {
212                 static const char * rv[] = { ".flv", NULL };
213                 return rv;
214         }
215         case FFMPEG_MKV: {
216                 static const char * rv[] = { ".mkv", NULL };
217                 return rv;
218         }
219         case FFMPEG_OGG: {
220                 static const char * rv[] = { ".ogg", ".ogv", NULL };
221                 return rv;
222         }
223         case FFMPEG_MP3: {
224                 static const char * rv[] = { ".mp3", NULL };
225                 return rv;
226         }
227         case FFMPEG_WAV: {
228                 static const char * rv[] = { ".wav", NULL };
229                 return rv;
230         }
231         default:
232                 return NULL;
233         }
234 }
235
236 /* Write a frame to the output file */
237 static int write_video_frame(RenderData *rd, AVFrame* frame, ReportList *reports)
238 {
239         int outsize = 0;
240         int ret, success= 1;
241         AVCodecContext* c = video_stream->codec;
242
243         frame->pts = rd->cfra - rd->sfra;
244
245         if (rd->mode & R_FIELDS) {
246                 frame->top_field_first = ((rd->mode & R_ODDFIELD) != 0);
247         }
248
249         outsize = avcodec_encode_video(c, video_buffer, video_buffersize, 
250                                            frame);
251         if (outsize != 0) {
252                 AVPacket packet;
253                 av_init_packet(&packet);
254
255                 if (c->coded_frame->pts != AV_NOPTS_VALUE) {
256                         packet.pts = av_rescale_q(c->coded_frame->pts,
257                                                   c->time_base,
258                                                   video_stream->time_base);
259                         fprintf(stderr, "Video Frame PTS: %d\n", (int)packet.pts);
260                 } else {
261                         fprintf(stderr, "Video Frame PTS: not set\n");
262                 }
263                 if (c->coded_frame->key_frame)
264                         packet.flags |= AV_PKT_FLAG_KEY;
265                 packet.stream_index = video_stream->index;
266                 packet.data = video_buffer;
267                 packet.size = outsize;
268                 ret = av_interleaved_write_frame(outfile, &packet);
269         } else {
270                 ret = 0;
271         }
272
273         if (ret != 0) {
274                 success= 0;
275                 BKE_report(reports, RPT_ERROR, "Error writing frame.");
276         }
277
278         return success;
279 }
280
281 /* read and encode a frame of audio from the buffer */
282 static AVFrame* generate_video_frame(uint8_t* pixels, ReportList *reports) 
283 {
284         uint8_t* rendered_frame;
285
286         AVCodecContext* c = video_stream->codec;
287         int width = c->width;
288         int height = c->height;
289         AVFrame* rgb_frame;
290
291         if (c->pix_fmt != PIX_FMT_BGR32) {
292                 rgb_frame = alloc_picture(PIX_FMT_BGR32, width, height);
293                 if (!rgb_frame) {
294                         BKE_report(reports, RPT_ERROR, "Couldn't allocate temporary frame.");
295                         return NULL;
296                 }
297         } else {
298                 rgb_frame = current_frame;
299         }
300
301         rendered_frame = pixels;
302
303         /* Do RGBA-conversion and flipping in one step depending
304            on CPU-Endianess */
305
306         if (ENDIAN_ORDER == L_ENDIAN) {
307                 int y;
308                 for (y = 0; y < height; y++) {
309                         uint8_t* target = rgb_frame->data[0]
310                                 + width * 4 * (height - y - 1);
311                         uint8_t* src = rendered_frame + width * 4 * y;
312                         uint8_t* end = src + width * 4;
313                         while (src != end) {
314                                 target[3] = src[3];
315                                 target[2] = src[2];
316                                 target[1] = src[1];
317                                 target[0] = src[0];
318
319                                 target += 4;
320                                 src += 4;
321                         }
322                 }
323         } else {
324                 int y;
325                 for (y = 0; y < height; y++) {
326                         uint8_t* target = rgb_frame->data[0]
327                                 + width * 4 * (height - y - 1);
328                         uint8_t* src = rendered_frame + width * 4 * y;
329                         uint8_t* end = src + width * 4;
330                         while (src != end) {
331                                 target[3] = src[0];
332                                 target[2] = src[1];
333                                 target[1] = src[2];
334                                 target[0] = src[3];
335
336                                 target += 4;
337                                 src += 4;
338                         }
339                 }
340         }
341
342         if (c->pix_fmt != PIX_FMT_BGR32) {
343                 sws_scale(img_convert_ctx, (const uint8_t * const*) rgb_frame->data,
344                           rgb_frame->linesize, 0, c->height, 
345                           current_frame->data, current_frame->linesize);
346                 delete_picture(rgb_frame);
347         }
348         return current_frame;
349 }
350
351 static void set_ffmpeg_property_option(AVCodecContext* c, IDProperty * prop)
352 {
353         char name[128];
354         char * param;
355         const AVOption * rv = NULL;
356
357         fprintf(stderr, "FFMPEG expert option: %s: ", prop->name);
358
359         BLI_strncpy(name, prop->name, sizeof(name));
360
361         param = strchr(name, ':');
362
363         if (param) {
364                 *param++ = 0;
365         }
366
367         switch(prop->type) {
368         case IDP_STRING:
369                 fprintf(stderr, "%s.\n", IDP_String(prop));
370                 av_set_string3(c, prop->name, IDP_String(prop), 1, &rv);
371                 break;
372         case IDP_FLOAT:
373                 fprintf(stderr, "%g.\n", IDP_Float(prop));
374                 rv = av_set_double(c, prop->name, IDP_Float(prop));
375                 break;
376         case IDP_INT:
377                 fprintf(stderr, "%d.\n", IDP_Int(prop));
378                 
379                 if (param) {
380                         if (IDP_Int(prop)) {
381                                 av_set_string3(c, name, param, 1, &rv);
382                         } else {
383                                 return;
384                         }
385                 } else {
386                         rv = av_set_int(c, prop->name, IDP_Int(prop));
387                 }
388                 break;
389         }
390
391         if (!rv) {
392                 fprintf(stderr, "ffmpeg-option not supported: %s! Skipping.\n",
393                         prop->name);
394         }
395 }
396
397 static void set_ffmpeg_properties(RenderData *rd, AVCodecContext *c, const char * prop_name)
398 {
399         IDProperty * prop;
400         void * iter;
401         IDProperty * curr;
402
403         if (!rd->ffcodecdata.properties) {
404                 return;
405         }
406         
407         prop = IDP_GetPropertyFromGroup(
408                 rd->ffcodecdata.properties, (char*) prop_name);
409         if (!prop) {
410                 return;
411         }
412
413         iter = IDP_GetGroupIterator(prop);
414
415         while ((curr = IDP_GroupIterNext(iter)) != NULL) {
416                 set_ffmpeg_property_option(c, curr);
417         }
418 }
419
420 /* prepare a video stream for the output file */
421
422 static AVStream* alloc_video_stream(RenderData *rd, int codec_id, AVFormatContext* of,
423                                         int rectx, int recty) 
424 {
425         AVStream* st;
426         AVCodecContext* c;
427         AVCodec* codec;
428         st = av_new_stream(of, 0);
429         if (!st) return NULL;
430
431         /* Set up the codec context */
432         
433         c = st->codec;
434         c->codec_id = codec_id;
435         c->codec_type = AVMEDIA_TYPE_VIDEO;
436
437
438         /* Get some values from the current render settings */
439         
440         c->width = rectx;
441         c->height = recty;
442
443         /* FIXME: Really bad hack (tm) for NTSC support */
444         if (ffmpeg_type == FFMPEG_DV && rd->frs_sec != 25) {
445                 c->time_base.den = 2997;
446                 c->time_base.num = 100;
447         } else if ((double) ((int) rd->frs_sec_base) == 
448                    rd->frs_sec_base) {
449                 c->time_base.den = rd->frs_sec;
450                 c->time_base.num = (int) rd->frs_sec_base;
451         } else {
452                 c->time_base.den = rd->frs_sec * 100000;
453                 c->time_base.num = ((double) rd->frs_sec_base) * 100000;
454         }
455         
456         c->gop_size = ffmpeg_gop_size;
457         c->bit_rate = ffmpeg_video_bitrate*1000;
458         c->rc_max_rate = rd->ffcodecdata.rc_max_rate*1000;
459         c->rc_min_rate = rd->ffcodecdata.rc_min_rate*1000;
460         c->rc_buffer_size = rd->ffcodecdata.rc_buffer_size * 1024;
461         c->rc_initial_buffer_occupancy 
462                 = rd->ffcodecdata.rc_buffer_size*3/4;
463         c->rc_buffer_aggressivity = 1.0;
464         c->me_method = ME_EPZS;
465         
466         codec = avcodec_find_encoder(c->codec_id);
467         if (!codec) return NULL;
468         
469         /* Be sure to use the correct pixel format(e.g. RGB, YUV) */
470         
471         if (codec->pix_fmts) {
472                 c->pix_fmt = codec->pix_fmts[0];
473         } else {
474                 /* makes HuffYUV happy ... */
475                 c->pix_fmt = PIX_FMT_YUV422P;
476         }
477
478         if (ffmpeg_type == FFMPEG_XVID) {
479                 /* arghhhh ... */
480                 c->pix_fmt = PIX_FMT_YUV420P;
481                 c->codec_tag = (('D'<<24) + ('I'<<16) + ('V'<<8) + 'X');
482         }
483
484         if (codec_id == CODEC_ID_H264) {
485                 /* correct wrong default ffmpeg param which crash x264 */
486                 c->qmin=10;
487                 c->qmax=51;
488         }
489         
490         if ((of->oformat->flags & AVFMT_GLOBALHEADER)
491 //              || !strcmp(of->oformat->name, "mp4")
492 //          || !strcmp(of->oformat->name, "mov")
493 //          || !strcmp(of->oformat->name, "3gp")
494                 ) {
495                 fprintf(stderr, "Using global header\n");
496                 c->flags |= CODEC_FLAG_GLOBAL_HEADER;
497         }
498         
499         /* Determine whether we are encoding interlaced material or not */
500         if (rd->mode & R_FIELDS) {
501                 fprintf(stderr, "Encoding interlaced video\n");
502                 c->flags |= CODEC_FLAG_INTERLACED_DCT;
503                 c->flags |= CODEC_FLAG_INTERLACED_ME;
504         }
505
506         /* xasp & yasp got float lately... */
507
508         st->sample_aspect_ratio = c->sample_aspect_ratio = av_d2q(
509                 ((double) rd->xasp / (double) rd->yasp), 255);
510
511         set_ffmpeg_properties(rd, c, "video");
512         
513         if (avcodec_open(c, codec) < 0) {
514                 //
515                 //XXX error("Couldn't initialize codec");
516                 return NULL;
517         }
518
519         video_buffersize = 2000000;
520         video_buffer = (uint8_t*)MEM_mallocN(video_buffersize, 
521                                                  "FFMPEG video buffer");
522         
523         current_frame = alloc_picture(c->pix_fmt, c->width, c->height);
524
525         img_convert_ctx = sws_getContext(c->width, c->height,
526                                          PIX_FMT_BGR32,
527                                          c->width, c->height,
528                                          c->pix_fmt,
529                                          SWS_BICUBIC,
530                                          NULL, NULL, NULL);
531         return st;
532 }
533
534 /* Prepare an audio stream for the output file */
535
536 static AVStream* alloc_audio_stream(RenderData *rd, int codec_id, AVFormatContext* of) 
537 {
538         AVStream* st;
539         AVCodecContext* c;
540         AVCodec* codec;
541
542         st = av_new_stream(of, 1);
543         if (!st) return NULL;
544
545         c = st->codec;
546         c->codec_id = codec_id;
547         c->codec_type = AVMEDIA_TYPE_AUDIO;
548
549         c->sample_rate = rd->ffcodecdata.audio_mixrate;
550         c->bit_rate = ffmpeg_audio_bitrate*1000;
551         c->sample_fmt = SAMPLE_FMT_S16;
552         c->channels = rd->ffcodecdata.audio_channels;
553         codec = avcodec_find_encoder(c->codec_id);
554         if (!codec) {
555                 //XXX error("Couldn't find a valid audio codec");
556                 return NULL;
557         }
558
559         set_ffmpeg_properties(rd, c, "audio");
560
561         if (avcodec_open(c, codec) < 0) {
562                 //XXX error("Couldn't initialize audio codec");
563                 return NULL;
564         }
565
566         audio_outbuf_size = FF_MIN_BUFFER_SIZE;
567
568         if((c->codec_id >= CODEC_ID_PCM_S16LE) && (c->codec_id <= CODEC_ID_PCM_DVD))
569                 audio_input_samples = audio_outbuf_size * 8 / c->bits_per_coded_sample / c->channels;
570         else
571         {
572                 audio_input_samples = c->frame_size;
573                 if(c->frame_size * c->channels * sizeof(int16_t) * 4 > audio_outbuf_size)
574                         audio_outbuf_size = c->frame_size * c->channels * sizeof(int16_t) * 4;
575         }
576
577         audio_output_buffer = (uint8_t*)av_malloc(
578                 audio_outbuf_size);
579
580         audio_input_buffer = (uint8_t*)av_malloc(
581                 audio_input_samples * c->channels * sizeof(int16_t));
582
583         audio_time = 0.0f;
584
585         return st;
586 }
587 /* essential functions -- start, append, end */
588
589 static int start_ffmpeg_impl(struct RenderData *rd, int rectx, int recty, ReportList *reports)
590 {
591         /* Handle to the output file */
592         AVFormatContext* of;
593         AVOutputFormat* fmt;
594         char name[256];
595         const char ** exts;
596
597         ffmpeg_type = rd->ffcodecdata.type;
598         ffmpeg_codec = rd->ffcodecdata.codec;
599         ffmpeg_audio_codec = rd->ffcodecdata.audio_codec;
600         ffmpeg_video_bitrate = rd->ffcodecdata.video_bitrate;
601         ffmpeg_audio_bitrate = rd->ffcodecdata.audio_bitrate;
602         ffmpeg_gop_size = rd->ffcodecdata.gop_size;
603         ffmpeg_autosplit = rd->ffcodecdata.flags
604                 & FFMPEG_AUTOSPLIT_OUTPUT;
605         
606         do_init_ffmpeg();
607
608         /* Determine the correct filename */
609         filepath_ffmpeg(name, rd);
610         fprintf(stderr, "Starting output to %s(ffmpeg)...\n"
611                 "  Using type=%d, codec=%d, audio_codec=%d,\n"
612                 "  video_bitrate=%d, audio_bitrate=%d,\n"
613                 "  gop_size=%d, autosplit=%d\n"
614                 "  render width=%d, render height=%d\n", 
615                 name, ffmpeg_type, ffmpeg_codec, ffmpeg_audio_codec,
616                 ffmpeg_video_bitrate, ffmpeg_audio_bitrate,
617                 ffmpeg_gop_size, ffmpeg_autosplit, rectx, recty);
618         
619         exts = get_file_extensions(ffmpeg_type);
620         if (!exts) {
621                 BKE_report(reports, RPT_ERROR, "No valid formats found.");
622                 return 0;
623         }
624         fmt = av_guess_format(NULL, exts[0], NULL);
625         if (!fmt) {
626                 BKE_report(reports, RPT_ERROR, "No valid formats found.");
627                 return 0;
628         }
629
630         of = avformat_alloc_context();
631         if (!of) {
632                 BKE_report(reports, RPT_ERROR, "Error opening output file");
633                 return 0;
634         }
635         
636         of->oformat = fmt;
637         of->packet_size= rd->ffcodecdata.mux_packet_size;
638         if (ffmpeg_audio_codec != CODEC_ID_NONE) {
639                 of->mux_rate = rd->ffcodecdata.mux_rate;
640         } else {
641                 of->mux_rate = 0;
642         }
643
644         of->preload = (int)(0.5*AV_TIME_BASE);
645         of->max_delay = (int)(0.7*AV_TIME_BASE);
646
647         fmt->audio_codec = ffmpeg_audio_codec;
648
649         snprintf(of->filename, sizeof(of->filename), "%s", name);
650         /* set the codec to the user's selection */
651         switch(ffmpeg_type) {
652         case FFMPEG_AVI:
653         case FFMPEG_MOV:
654         case FFMPEG_OGG:
655         case FFMPEG_MKV:
656                 fmt->video_codec = ffmpeg_codec;
657                 break;
658         case FFMPEG_DV:
659                 fmt->video_codec = CODEC_ID_DVVIDEO;
660                 break;
661         case FFMPEG_MPEG1:
662                 fmt->video_codec = CODEC_ID_MPEG1VIDEO;
663                 break;
664         case FFMPEG_MPEG2:
665                 fmt->video_codec = CODEC_ID_MPEG2VIDEO;
666                 break;
667         case FFMPEG_H264:
668                 fmt->video_codec = CODEC_ID_H264;
669                 break;
670         case FFMPEG_XVID:
671                 fmt->video_codec = CODEC_ID_MPEG4;
672                 break;
673         case FFMPEG_FLV:
674                 fmt->video_codec = CODEC_ID_FLV1;
675                 break;
676         case FFMPEG_MP3:
677                 fmt->audio_codec = CODEC_ID_MP3;
678         case FFMPEG_WAV:
679                 fmt->video_codec = CODEC_ID_NONE;
680                 break;
681         case FFMPEG_MPEG4:
682         default:
683                 fmt->video_codec = CODEC_ID_MPEG4;
684                 break;
685         }
686         if (fmt->video_codec == CODEC_ID_DVVIDEO) {
687                 if (rectx != 720) {
688                         BKE_report(reports, RPT_ERROR, "Render width has to be 720 pixels for DV!");
689                         return 0;
690                 }
691                 if (rd->frs_sec != 25 && recty != 480) {
692                         BKE_report(reports, RPT_ERROR, "Render height has to be 480 pixels for DV-NTSC!");
693                         return 0;
694                 }
695                 if (rd->frs_sec == 25 && recty != 576) {
696                         BKE_report(reports, RPT_ERROR, "Render height has to be 576 pixels for DV-PAL!");
697                         return 0;
698                 }
699         }
700         
701         if (ffmpeg_type == FFMPEG_DV) {
702                 fmt->audio_codec = CODEC_ID_PCM_S16LE;
703                 if (ffmpeg_audio_codec != CODEC_ID_NONE && rd->ffcodecdata.audio_mixrate != 48000 && rd->ffcodecdata.audio_channels != 2) {
704                         BKE_report(reports, RPT_ERROR, "FFMPEG only supports 48khz / stereo audio for DV!");
705                         return 0;
706                 }
707         }
708         
709         if (fmt->video_codec != CODEC_ID_NONE) {
710                 video_stream = alloc_video_stream(rd, fmt->video_codec, of, rectx, recty);
711                 printf("alloc video stream %p\n", video_stream);
712                 if (!video_stream) {
713                         BKE_report(reports, RPT_ERROR, "Error initializing video stream.");
714                         return 0;
715                 }
716         }
717
718         if (ffmpeg_audio_codec != CODEC_ID_NONE) {
719                 audio_stream = alloc_audio_stream(rd, fmt->audio_codec, of);
720                 if (!audio_stream) {
721                         BKE_report(reports, RPT_ERROR, "Error initializing audio stream.");
722                         return 0;
723                 }
724         }
725         if (av_set_parameters(of, NULL) < 0) {
726                 BKE_report(reports, RPT_ERROR, "Error setting output parameters.");
727                 return 0;
728         }
729         if (!(fmt->flags & AVFMT_NOFILE)) {
730                 if (avio_open(&of->pb, name, AVIO_FLAG_WRITE) < 0) {
731                         BKE_report(reports, RPT_ERROR, "Could not open file for writing.");
732                         return 0;
733                 }
734         }
735
736         av_write_header(of);
737         outfile = of;
738         av_dump_format(of, 0, name, 1);
739
740         return 1;
741 }
742
743 /**
744  * Writes any delayed frames in the encoder. This function is called before 
745  * closing the encoder.
746  *
747  * <p>
748  * Since an encoder may use both past and future frames to predict 
749  * inter-frames (H.264 B-frames, for example), it can output the frames 
750  * in a different order from the one it was given.
751  * For example, when sending frames 1, 2, 3, 4 to the encoder, it may write
752  * them in the order 1, 4, 2, 3 - first the two frames used for predition, 
753  * and then the bidirectionally-predicted frames. What this means in practice 
754  * is that the encoder may not immediately produce one output frame for each 
755  * input frame. These delayed frames must be flushed before we close the 
756  * stream. We do this by calling avcodec_encode_video with NULL for the last 
757  * parameter.
758  * </p>
759  */
760 void flush_ffmpeg(void)
761 {
762         int outsize = 0;
763         int ret = 0;
764         
765         AVCodecContext* c = video_stream->codec;
766         /* get the delayed frames */
767         while (1) {
768                 AVPacket packet;
769                 av_init_packet(&packet);
770                 
771                 outsize = avcodec_encode_video(c, video_buffer, video_buffersize, NULL);
772                 if (outsize < 0) {
773                         fprintf(stderr, "Error encoding delayed frame %d\n", outsize);
774                         break;
775                 }
776                 if (outsize == 0) {
777                         break;
778                 }
779                 if (c->coded_frame->pts != AV_NOPTS_VALUE) {
780                         packet.pts = av_rescale_q(c->coded_frame->pts,
781                                                   c->time_base,
782                                                   video_stream->time_base);
783                         fprintf(stderr, "Video Frame PTS: %d\n", (int)packet.pts);
784                 } else {
785                         fprintf(stderr, "Video Frame PTS: not set\n");
786                 }
787                 if (c->coded_frame->key_frame) {
788                         packet.flags |= AV_PKT_FLAG_KEY;
789                 }
790                 packet.stream_index = video_stream->index;
791                 packet.data = video_buffer;
792                 packet.size = outsize;
793                 ret = av_interleaved_write_frame(outfile, &packet);
794                 if (ret != 0) {
795                         fprintf(stderr, "Error writing delayed frame %d\n", ret);
796                         break;
797                 }
798         }
799         avcodec_flush_buffers(video_stream->codec);
800 }
801
802 /* **********************************************************************
803    * public interface
804    ********************************************************************** */
805
806 /* Get the output filename-- similar to the other output formats */
807 void filepath_ffmpeg(char* string, RenderData* rd) {
808         char autosplit[20];
809
810         const char ** exts = get_file_extensions(rd->ffcodecdata.type);
811         const char ** fe = exts;
812
813         if (!string || !exts) return;
814
815         strcpy(string, rd->pic);
816         BLI_path_abs(string, G.main->name);
817
818         BLI_make_existing_file(string);
819
820         autosplit[0] = 0;
821
822         if ((rd->ffcodecdata.flags & FFMPEG_AUTOSPLIT_OUTPUT) != 0) {
823                 sprintf(autosplit, "_%03d", ffmpeg_autosplit_count);
824         }
825
826         while (*fe) {
827                 if (BLI_strcasecmp(string + strlen(string) - strlen(*fe), 
828                                    *fe) == 0) {
829                         break;
830                 }
831                 fe++;
832         }
833
834         if (!*fe) {
835                 strcat(string, autosplit);
836
837                 BLI_path_frame_range(string, rd->sfra, rd->efra, 4);
838                 strcat(string, *exts);
839         } else {
840                 *(string + strlen(string) - strlen(*fe)) = 0;
841                 strcat(string, autosplit);
842                 strcat(string, *fe);
843         }
844 }
845
846 int start_ffmpeg(struct Scene *scene, RenderData *rd, int rectx, int recty, ReportList *reports)
847 {
848         int success;
849
850         ffmpeg_autosplit_count = 0;
851
852         success = start_ffmpeg_impl(rd, rectx, recty, reports);
853
854         if(audio_stream)
855         {
856                 AVCodecContext* c = audio_stream->codec;
857                 AUD_DeviceSpecs specs;
858                 specs.channels = c->channels;
859                 specs.format = AUD_FORMAT_S16;
860                 specs.rate = rd->ffcodecdata.audio_mixrate;
861                 audio_mixdown_device = sound_mixdown(scene, specs, rd->sfra, rd->ffcodecdata.audio_volume);
862 #ifdef FFMPEG_CODEC_TIME_BASE
863                 c->time_base.den = specs.rate;
864                 c->time_base.num = 1;
865 #endif
866         }
867
868         return success;
869 }
870
871 void end_ffmpeg(void);
872
873 static void write_audio_frames(double to_pts)
874 {
875         int finished = 0;
876
877         while (audio_stream && !finished) {
878                 if((audio_time >= to_pts) ||
879                    (write_audio_frame())) {
880                         finished = 1;
881                 }
882         }
883 }
884
885 int append_ffmpeg(RenderData *rd, int frame, int *pixels, int rectx, int recty, ReportList *reports) 
886 {
887         AVFrame* avframe;
888         int success = 1;
889
890         fprintf(stderr, "Writing frame %i, "
891                 "render width=%d, render height=%d\n", frame,
892                 rectx, recty);
893
894 // why is this done before writing the video frame and again at end_ffmpeg?
895 //      write_audio_frames(frame / (((double)rd->frs_sec) / rd->frs_sec_base));
896
897         if(video_stream)
898         {
899                 avframe= generate_video_frame((unsigned char*) pixels, reports);
900                 success= (avframe && write_video_frame(rd, avframe, reports));
901
902                 if (ffmpeg_autosplit) {
903                         if (avio_tell(outfile->pb) > FFMPEG_AUTOSPLIT_SIZE) {
904                                 end_ffmpeg();
905                                 ffmpeg_autosplit_count++;
906                                 success &= start_ffmpeg_impl(rd, rectx, recty, reports);
907                         }
908                 }
909         }
910
911         write_audio_frames((frame - rd->sfra) / (((double)rd->frs_sec) / rd->frs_sec_base));
912
913         return success;
914 }
915
916 void end_ffmpeg(void)
917 {
918         unsigned int i;
919         
920         fprintf(stderr, "Closing ffmpeg...\n");
921
922 /*      if (audio_stream) { SEE UPPER
923                 write_audio_frames();
924         }*/
925
926         if(audio_mixdown_device)
927         {
928                 AUD_closeReadDevice(audio_mixdown_device);
929                 audio_mixdown_device = 0;
930         }
931         
932         if (video_stream && video_stream->codec) {
933                 fprintf(stderr, "Flushing delayed frames...\n");
934                 flush_ffmpeg ();                
935         }
936         
937         if (outfile) {
938                 av_write_trailer(outfile);
939         }
940         
941         /* Close the video codec */
942
943         if (video_stream && video_stream->codec) {
944                 avcodec_close(video_stream->codec);
945                 printf("zero video stream %p\n", video_stream);
946                 video_stream = 0;
947         }
948
949         
950         /* Close the output file */
951         if (outfile) {
952                 for (i = 0; i < outfile->nb_streams; i++) {
953                         if (&outfile->streams[i]) {
954                                 av_freep(&outfile->streams[i]);
955                         }
956                 }
957         }
958         /* free the temp buffer */
959         if (current_frame) {
960                 delete_picture(current_frame);
961                 current_frame = 0;
962         }
963         if (outfile && outfile->oformat) {
964                 if (!(outfile->oformat->flags & AVFMT_NOFILE)) {
965                         avio_close(outfile->pb);
966                 }
967         }
968         if (outfile) {
969                 av_free(outfile);
970                 outfile = 0;
971         }
972         if (video_buffer) {
973                 MEM_freeN(video_buffer);
974                 video_buffer = 0;
975         }
976         if (audio_output_buffer) {
977                 av_free(audio_output_buffer);
978                 audio_output_buffer = 0;
979         }
980         if (audio_input_buffer) {
981                 av_free(audio_input_buffer);
982                 audio_input_buffer = 0;
983         }
984
985         if (img_convert_ctx) {
986                 sws_freeContext(img_convert_ctx);
987                 img_convert_ctx = 0;
988         }
989 }
990
991 /* properties */
992
993 void ffmpeg_property_del(RenderData *rd, void *type, void *prop_)
994 {
995         struct IDProperty *prop = (struct IDProperty *) prop_;
996         IDProperty * group;
997         
998         if (!rd->ffcodecdata.properties) {
999                 return;
1000         }
1001
1002         group = IDP_GetPropertyFromGroup(
1003                 rd->ffcodecdata.properties, (char*) type);
1004         if (group && prop) {
1005                 IDP_RemFromGroup(group, prop);
1006                 IDP_FreeProperty(prop);
1007                 MEM_freeN(prop);
1008         }
1009 }
1010
1011 IDProperty *ffmpeg_property_add(RenderData *rd, char * type, int opt_index, int parent_index)
1012 {
1013         AVCodecContext c;
1014         const AVOption * o;
1015         const AVOption * parent;
1016         IDProperty * group;
1017         IDProperty * prop;
1018         IDPropertyTemplate val;
1019         int idp_type;
1020         char name[256];
1021         
1022         val.i = 0;
1023
1024         avcodec_get_context_defaults(&c);
1025
1026         o = c.av_class->option + opt_index;
1027         parent = c.av_class->option + parent_index;
1028
1029         if (!rd->ffcodecdata.properties) {
1030                 rd->ffcodecdata.properties 
1031                         = IDP_New(IDP_GROUP, val, "ffmpeg"); 
1032         }
1033
1034         group = IDP_GetPropertyFromGroup(
1035                 rd->ffcodecdata.properties, (char*) type);
1036         
1037         if (!group) {
1038                 group = IDP_New(IDP_GROUP, val, (char*) type); 
1039                 IDP_AddToGroup(rd->ffcodecdata.properties, group);
1040         }
1041
1042         if (parent_index) {
1043                 sprintf(name, "%s:%s", parent->name, o->name);
1044         } else {
1045                 strcpy(name, o->name);
1046         }
1047
1048         fprintf(stderr, "ffmpeg_property_add: %s %d %d %s\n",
1049                 type, parent_index, opt_index, name);
1050
1051         prop = IDP_GetPropertyFromGroup(group, name);
1052         if (prop) {
1053                 return prop;
1054         }
1055
1056         switch (o->type) {
1057         case FF_OPT_TYPE_INT:
1058         case FF_OPT_TYPE_INT64:
1059                 val.i = FFMPEG_DEF_OPT_VAL_INT(o);
1060                 idp_type = IDP_INT;
1061                 break;
1062         case FF_OPT_TYPE_DOUBLE:
1063         case FF_OPT_TYPE_FLOAT:
1064                 val.f = FFMPEG_DEF_OPT_VAL_DOUBLE(o);
1065                 idp_type = IDP_FLOAT;
1066                 break;
1067         case FF_OPT_TYPE_STRING:
1068                 val.str = "                                                                               ";
1069                 idp_type = IDP_STRING;
1070                 break;
1071         case FF_OPT_TYPE_CONST:
1072                 val.i = 1;
1073                 idp_type = IDP_INT;
1074                 break;
1075         default:
1076                 return NULL;
1077         }
1078         prop = IDP_New(idp_type, val, name);
1079         IDP_AddToGroup(group, prop);
1080         return prop;
1081 }
1082
1083 /* not all versions of ffmpeg include that, so here we go ... */
1084
1085 static const AVOption *my_av_find_opt(void *v, const char *name, 
1086                                           const char *unit, int mask, int flags){
1087         AVClass *c= *(AVClass**)v; 
1088         const AVOption *o= c->option;
1089
1090         for(;o && o->name; o++){
1091                 if(!strcmp(o->name, name) && 
1092                    (!unit || (o->unit && !strcmp(o->unit, unit))) && 
1093                    (o->flags & mask) == flags )
1094                         return o;
1095         }
1096         return NULL;
1097 }
1098
1099 int ffmpeg_property_add_string(RenderData *rd, const char * type, const char * str)
1100 {
1101         AVCodecContext c;
1102         const AVOption * o = 0;
1103         const AVOption * p = 0;
1104         char name_[128];
1105         char * name;
1106         char * param;
1107         IDProperty * prop;
1108         
1109         avcodec_get_context_defaults(&c);
1110
1111         strncpy(name_, str, sizeof(name_));
1112
1113         name = name_;
1114         while (*name == ' ') name++;
1115
1116         param = strchr(name, ':');
1117
1118         if (!param) {
1119                 param = strchr(name, ' ');
1120         }
1121         if (param) {
1122                 *param++ = 0;
1123                 while (*param == ' ') param++;
1124         }
1125         
1126         o = my_av_find_opt(&c, name, NULL, 0, 0);       
1127         if (!o) {
1128                 return 0;
1129         }
1130         if (param && o->type == FF_OPT_TYPE_CONST) {
1131                 return 0;
1132         }
1133         if (param && o->type != FF_OPT_TYPE_CONST && o->unit) {
1134                 p = my_av_find_opt(&c, param, o->unit, 0, 0);   
1135                 prop = ffmpeg_property_add(rd,
1136                         (char*) type, p - c.av_class->option, 
1137                         o - c.av_class->option);
1138         } else {
1139                 prop = ffmpeg_property_add(rd,
1140                         (char*) type, o - c.av_class->option, 0);
1141         }
1142                 
1143
1144         if (!prop) {
1145                 return 0;
1146         }
1147
1148         if (param && !p) {
1149                 switch (prop->type) {
1150                 case IDP_INT:
1151                         IDP_Int(prop) = atoi(param);
1152                         break;
1153                 case IDP_FLOAT:
1154                         IDP_Float(prop) = atof(param);
1155                         break;
1156                 case IDP_STRING:
1157                         strncpy(IDP_String(prop), param, prop->len);
1158                         break;
1159                 }
1160         }
1161         return 1;
1162 }
1163
1164 void ffmpeg_set_preset(RenderData *rd, int preset)
1165 {
1166         int isntsc = (rd->frs_sec != 25);
1167
1168         switch (preset) {
1169         case FFMPEG_PRESET_VCD:
1170                 rd->ffcodecdata.type = FFMPEG_MPEG1;
1171                 rd->ffcodecdata.video_bitrate = 1150;
1172                 rd->xsch = 352;
1173                 rd->ysch = isntsc ? 240 : 288;
1174                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1175                 rd->ffcodecdata.rc_max_rate = 1150;
1176                 rd->ffcodecdata.rc_min_rate = 1150;
1177                 rd->ffcodecdata.rc_buffer_size = 40*8;
1178                 rd->ffcodecdata.mux_packet_size = 2324;
1179                 rd->ffcodecdata.mux_rate = 2352 * 75 * 8;
1180                 break;
1181
1182         case FFMPEG_PRESET_SVCD:
1183                 rd->ffcodecdata.type = FFMPEG_MPEG2;
1184                 rd->ffcodecdata.video_bitrate = 2040;
1185                 rd->xsch = 480;
1186                 rd->ysch = isntsc ? 480 : 576;
1187                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1188                 rd->ffcodecdata.rc_max_rate = 2516;
1189                 rd->ffcodecdata.rc_min_rate = 0;
1190                 rd->ffcodecdata.rc_buffer_size = 224*8;
1191                 rd->ffcodecdata.mux_packet_size = 2324;
1192                 rd->ffcodecdata.mux_rate = 0;
1193                 break;
1194
1195         case FFMPEG_PRESET_DVD:
1196                 rd->ffcodecdata.type = FFMPEG_MPEG2;
1197                 rd->ffcodecdata.video_bitrate = 6000;
1198                 rd->xsch = 720;
1199                 rd->ysch = isntsc ? 480 : 576;
1200                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1201                 rd->ffcodecdata.rc_max_rate = 9000;
1202                 rd->ffcodecdata.rc_min_rate = 0;
1203                 rd->ffcodecdata.rc_buffer_size = 224*8;
1204                 rd->ffcodecdata.mux_packet_size = 2048;
1205                 rd->ffcodecdata.mux_rate = 10080000;
1206                 break;
1207
1208         case FFMPEG_PRESET_DV:
1209                 rd->ffcodecdata.type = FFMPEG_DV;
1210                 rd->xsch = 720;
1211                 rd->ysch = isntsc ? 480 : 576;
1212                 break;
1213
1214         case FFMPEG_PRESET_H264:
1215                 rd->ffcodecdata.type = FFMPEG_AVI;
1216                 rd->ffcodecdata.codec = CODEC_ID_H264;
1217                 rd->ffcodecdata.video_bitrate = 6000;
1218                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1219                 rd->ffcodecdata.rc_max_rate = 9000;
1220                 rd->ffcodecdata.rc_min_rate = 0;
1221                 rd->ffcodecdata.rc_buffer_size = 224*8;
1222                 rd->ffcodecdata.mux_packet_size = 2048;
1223                 rd->ffcodecdata.mux_rate = 10080000;
1224
1225                 /*
1226                  * All options here are for x264, but must be set via ffmpeg.
1227                  * The names are therefore different - Search for "x264 to FFmpeg option mapping"
1228                  * to get a list.
1229                  */
1230                 
1231                 /*
1232                  * Use CABAC coder. Using "coder:1", which should be equivalent,
1233                  * crashes Blender for some reason. Either way - this is no big deal.
1234                  */
1235                 ffmpeg_property_add_string(rd, "video", "coder:vlc");
1236                 
1237                 /* 
1238                  * The other options were taken from the libx264-default.preset
1239                  * included in the ffmpeg distribution.
1240                  */
1241                 ffmpeg_property_add_string(rd, "video", "flags:loop");
1242                 ffmpeg_property_add_string(rd, "video", "cmp:chroma");
1243                 ffmpeg_property_add_string(rd, "video", "partitions:parti4x4");
1244                 ffmpeg_property_add_string(rd, "video", "partitions:partp8x8");
1245                 ffmpeg_property_add_string(rd, "video", "partitions:partb8x8");
1246                 ffmpeg_property_add_string(rd, "video", "me:hex");
1247                 ffmpeg_property_add_string(rd, "video", "subq:6");
1248                 ffmpeg_property_add_string(rd, "video", "me_range:16");
1249                 ffmpeg_property_add_string(rd, "video", "qdiff:4");
1250                 ffmpeg_property_add_string(rd, "video", "keyint_min:25");
1251                 ffmpeg_property_add_string(rd, "video", "sc_threshold:40");
1252                 ffmpeg_property_add_string(rd, "video", "i_qfactor:0.71");
1253                 ffmpeg_property_add_string(rd, "video", "b_strategy:1");
1254                 ffmpeg_property_add_string(rd, "video", "bf:3");
1255                 ffmpeg_property_add_string(rd, "video", "refs:2");
1256                 ffmpeg_property_add_string(rd, "video", "qcomp:0.6");
1257                 ffmpeg_property_add_string(rd, "video", "directpred:3");
1258                 ffmpeg_property_add_string(rd, "video", "trellis:0");
1259                 ffmpeg_property_add_string(rd, "video", "flags2:wpred");
1260                 ffmpeg_property_add_string(rd, "video", "flags2:dct8x8");
1261                 ffmpeg_property_add_string(rd, "video", "flags2:fastpskip");
1262                 ffmpeg_property_add_string(rd, "video", "wpredp:2");
1263                 
1264                 // This makes x264 output lossless. Will be a separate option later.
1265                 //ffmpeg_property_add_string(rd, "video", "cqp:0");
1266                 break;
1267
1268         case FFMPEG_PRESET_THEORA:
1269         case FFMPEG_PRESET_XVID:
1270                 if(preset == FFMPEG_PRESET_XVID) {
1271                         rd->ffcodecdata.type = FFMPEG_AVI;
1272                         rd->ffcodecdata.codec = CODEC_ID_MPEG4;
1273                 }
1274                 else if(preset == FFMPEG_PRESET_THEORA) {
1275                         rd->ffcodecdata.type = FFMPEG_OGG; // XXX broken
1276                         rd->ffcodecdata.codec = CODEC_ID_THEORA;
1277                 }
1278
1279                 rd->ffcodecdata.video_bitrate = 6000;
1280                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1281                 rd->ffcodecdata.rc_max_rate = 9000;
1282                 rd->ffcodecdata.rc_min_rate = 0;
1283                 rd->ffcodecdata.rc_buffer_size = 224*8;
1284                 rd->ffcodecdata.mux_packet_size = 2048;
1285                 rd->ffcodecdata.mux_rate = 10080000;
1286                 break;
1287
1288         }
1289 }
1290
1291 void ffmpeg_verify_image_type(RenderData *rd)
1292 {
1293         int audio= 0;
1294
1295         if(rd->imtype == R_FFMPEG) {
1296                 if(rd->ffcodecdata.type <= 0 ||
1297                    rd->ffcodecdata.codec <= 0 ||
1298                    rd->ffcodecdata.audio_codec <= 0 ||
1299                    rd->ffcodecdata.video_bitrate <= 1) {
1300
1301                         rd->ffcodecdata.codec = CODEC_ID_MPEG2VIDEO;
1302                         /* Don't set preset, disturbs render resolution.
1303                          * ffmpeg_set_preset(rd, FFMPEG_PRESET_DVD); */
1304                 }
1305
1306                 audio= 1;
1307         }
1308         else if(rd->imtype == R_H264) {
1309                 if(rd->ffcodecdata.codec != CODEC_ID_H264) {
1310                         ffmpeg_set_preset(rd, FFMPEG_PRESET_H264);
1311                         audio= 1;
1312                 }
1313         }
1314         else if(rd->imtype == R_XVID) {
1315                 if(rd->ffcodecdata.codec != CODEC_ID_MPEG4) {
1316                         ffmpeg_set_preset(rd, FFMPEG_PRESET_XVID);
1317                         audio= 1;
1318                 }
1319         }
1320         else if(rd->imtype == R_THEORA) {
1321                 if(rd->ffcodecdata.codec != CODEC_ID_THEORA) {
1322                         ffmpeg_set_preset(rd, FFMPEG_PRESET_THEORA);
1323                         audio= 1;
1324                 }
1325         }
1326
1327         if(audio && rd->ffcodecdata.audio_codec < 0) {
1328                 rd->ffcodecdata.audio_codec = CODEC_ID_NONE;
1329                 rd->ffcodecdata.audio_bitrate = 128;
1330         }
1331 }
1332
1333 #endif
1334