cmake option to build without an audio library.
[blender.git] / source / blender / blenkernel / intern / writeffmpeg.c
1 /** \file blender/blenkernel/intern/writeffmpeg.c
2  *  \ingroup bke
3  */
4 /*
5  * $Id$
6  *
7  * ffmpeg-write support
8  *
9  * Partial Copyright (c) 2006 Peter Schlaile
10  *
11  * This program is free software; you can redistribute it and/or modify
12  * it under the terms of the GNU General Public License as published by
13  * the Free Software Foundation; either version 2 of the License, or
14  * (at your option) any later version.
15  *
16  * This program is distributed in the hope that it will be useful,
17  * but WITHOUT ANY WARRANTY; without even the implied warranty of
18  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19  * GNU General Public License for more details.
20  *
21  */
22
23 #ifdef WITH_FFMPEG
24 #include <string.h>
25 #include <stdio.h>
26
27 #if defined(_WIN32) && defined(DEBUG) && !defined(__MINGW32__) && !defined(__CYGWIN__)
28 /* This does not seem necessary or present on MSVC 8, but may be needed in earlier versions? */
29 #if _MSC_VER < 1400
30 #include <stdint.h>
31 #endif
32 #endif
33
34 #include <stdlib.h>
35
36 #include <libavformat/avformat.h>
37 #include <libavcodec/avcodec.h>
38 #include <libavutil/rational.h>
39 #include <libswscale/swscale.h>
40 #include <libavcodec/opt.h>
41
42 #if defined(WIN32) && (!(defined snprintf))
43 #define snprintf _snprintf
44 #endif
45
46 #include "MEM_guardedalloc.h"
47
48 #include "DNA_scene_types.h"
49
50 #include "BLI_blenlib.h"
51
52 #ifdef WITH_AUDASPACE
53 #  include "AUD_C-API.h"
54 #endif
55
56 #include "BKE_global.h"
57 #include "BKE_idprop.h"
58 #include "BKE_main.h"
59 #include "BKE_report.h"
60 #include "BKE_sound.h"
61 #include "BKE_writeffmpeg.h"
62
63 #include "IMB_imbuf_types.h"
64 #include "IMB_imbuf.h"
65
66 #include "ffmpeg_compat.h"
67
68 extern void do_init_ffmpeg(void);
69
70 static int ffmpeg_type = 0;
71 static int ffmpeg_codec = CODEC_ID_MPEG4;
72 static int ffmpeg_audio_codec = CODEC_ID_NONE;
73 static int ffmpeg_video_bitrate = 1150;
74 static int ffmpeg_audio_bitrate = 128;
75 static int ffmpeg_gop_size = 12;
76 static int ffmpeg_autosplit = 0;
77 static int ffmpeg_autosplit_count = 0;
78
79 static AVFormatContext* outfile = 0;
80 static AVStream* video_stream = 0;
81 static AVStream* audio_stream = 0;
82 static AVFrame* current_frame = 0;
83 static struct SwsContext *img_convert_ctx = 0;
84
85 static uint8_t* video_buffer = 0;
86 static int video_buffersize = 0;
87
88 static uint8_t* audio_input_buffer = 0;
89 static int audio_input_samples = 0;
90 static uint8_t* audio_output_buffer = 0;
91 static int audio_outbuf_size = 0;
92 static double audio_time = 0.0f;
93
94 static AUD_Device* audio_mixdown_device = 0;
95
96 #define FFMPEG_AUTOSPLIT_SIZE 2000000000
97
98 /* Delete a picture buffer */
99
100 static void delete_picture(AVFrame* f)
101 {
102         if (f) {
103                 if (f->data[0]) MEM_freeN(f->data[0]);
104                 av_free(f);
105         }
106 }
107
108 static int write_audio_frame(void) 
109 {
110         AVCodecContext* c = NULL;
111         AVPacket pkt;
112
113         c = audio_stream->codec;
114
115         av_init_packet(&pkt);
116         pkt.size = 0;
117
118         AUD_readDevice(audio_mixdown_device, audio_input_buffer, audio_input_samples);
119         audio_time += (double) audio_input_samples / (double) c->sample_rate;
120
121         pkt.size = avcodec_encode_audio(c, audio_output_buffer,
122                                         audio_outbuf_size,
123                                         (short*) audio_input_buffer);
124
125         if(pkt.size < 0)
126         {
127                 // XXX error("Error writing audio packet");
128                 return -1;
129         }
130
131         pkt.data = audio_output_buffer;
132
133         if(c->coded_frame && c->coded_frame->pts != AV_NOPTS_VALUE)
134         {
135                 pkt.pts = av_rescale_q(c->coded_frame->pts,
136                                        c->time_base, audio_stream->time_base);
137                 fprintf(stderr, "Audio Frame PTS: %d\n", (int)pkt.pts);
138         }
139
140         pkt.stream_index = audio_stream->index;
141
142         pkt.flags |= AV_PKT_FLAG_KEY;
143
144         if (av_interleaved_write_frame(outfile, &pkt) != 0) {
145                 fprintf(stderr, "Error writing audio packet!\n");
146                 return -1;
147         }
148         return 0;
149 }
150
151 /* Allocate a temporary frame */
152 static AVFrame* alloc_picture(int pix_fmt, int width, int height) 
153 {
154         AVFrame* f;
155         uint8_t* buf;
156         int size;
157         
158         /* allocate space for the struct */
159         f = avcodec_alloc_frame();
160         if (!f) return NULL;
161         size = avpicture_get_size(pix_fmt, width, height);
162         /* allocate the actual picture buffer */
163         buf = MEM_mallocN(size, "AVFrame buffer");
164         if (!buf) {
165                 free(f);
166                 return NULL;
167         }
168         avpicture_fill((AVPicture*)f, buf, pix_fmt, width, height);
169         return f;
170 }
171
172 /* Get the correct file extensions for the requested format,
173    first is always desired guess_format parameter */
174 static const char** get_file_extensions(int format) 
175 {
176         switch(format) {
177         case FFMPEG_DV: {
178                 static const char * rv[] = { ".dv", NULL };
179                 return rv;
180         }
181         case FFMPEG_MPEG1: {
182                 static const char * rv[] = { ".mpg", ".mpeg", NULL };
183                 return rv;
184         }
185         case FFMPEG_MPEG2: {
186                 static const char * rv[] = { ".dvd", ".vob", ".mpg", ".mpeg",
187                                                  NULL };
188                 return rv;
189         }
190         case FFMPEG_MPEG4: {
191                 static const char * rv[] = { ".mp4", ".mpg", ".mpeg", NULL };
192                 return rv;
193         }
194         case FFMPEG_AVI: {
195                 static const char * rv[] = { ".avi", NULL };
196                 return rv;
197         }
198         case FFMPEG_MOV: {
199                 static const char * rv[] = { ".mov", NULL };
200                 return rv;
201         }
202         case FFMPEG_H264: {
203                 /* FIXME: avi for now... */
204                 static const char * rv[] = { ".avi", NULL };
205                 return rv;
206         }
207
208         case FFMPEG_XVID: {
209                 /* FIXME: avi for now... */
210                 static const char * rv[] = { ".avi", NULL };
211                 return rv;
212         }
213         case FFMPEG_FLV: {
214                 static const char * rv[] = { ".flv", NULL };
215                 return rv;
216         }
217         case FFMPEG_MKV: {
218                 static const char * rv[] = { ".mkv", NULL };
219                 return rv;
220         }
221         case FFMPEG_OGG: {
222                 static const char * rv[] = { ".ogg", ".ogv", NULL };
223                 return rv;
224         }
225         case FFMPEG_MP3: {
226                 static const char * rv[] = { ".mp3", NULL };
227                 return rv;
228         }
229         case FFMPEG_WAV: {
230                 static const char * rv[] = { ".wav", NULL };
231                 return rv;
232         }
233         default:
234                 return NULL;
235         }
236 }
237
238 /* Write a frame to the output file */
239 static int write_video_frame(RenderData *rd, AVFrame* frame, ReportList *reports)
240 {
241         int outsize = 0;
242         int ret, success= 1;
243         AVCodecContext* c = video_stream->codec;
244
245         frame->pts = rd->cfra - rd->sfra;
246
247         if (rd->mode & R_FIELDS) {
248                 frame->top_field_first = ((rd->mode & R_ODDFIELD) != 0);
249         }
250
251         outsize = avcodec_encode_video(c, video_buffer, video_buffersize, 
252                                            frame);
253         if (outsize != 0) {
254                 AVPacket packet;
255                 av_init_packet(&packet);
256
257                 if (c->coded_frame->pts != AV_NOPTS_VALUE) {
258                         packet.pts = av_rescale_q(c->coded_frame->pts,
259                                                   c->time_base,
260                                                   video_stream->time_base);
261                         fprintf(stderr, "Video Frame PTS: %d\n", (int)packet.pts);
262                 } else {
263                         fprintf(stderr, "Video Frame PTS: not set\n");
264                 }
265                 if (c->coded_frame->key_frame)
266                         packet.flags |= AV_PKT_FLAG_KEY;
267                 packet.stream_index = video_stream->index;
268                 packet.data = video_buffer;
269                 packet.size = outsize;
270                 ret = av_interleaved_write_frame(outfile, &packet);
271         } else {
272                 ret = 0;
273         }
274
275         if (ret != 0) {
276                 success= 0;
277                 BKE_report(reports, RPT_ERROR, "Error writing frame.");
278         }
279
280         return success;
281 }
282
283 /* read and encode a frame of audio from the buffer */
284 static AVFrame* generate_video_frame(uint8_t* pixels, ReportList *reports) 
285 {
286         uint8_t* rendered_frame;
287
288         AVCodecContext* c = video_stream->codec;
289         int width = c->width;
290         int height = c->height;
291         AVFrame* rgb_frame;
292
293         if (c->pix_fmt != PIX_FMT_BGR32) {
294                 rgb_frame = alloc_picture(PIX_FMT_BGR32, width, height);
295                 if (!rgb_frame) {
296                         BKE_report(reports, RPT_ERROR, "Couldn't allocate temporary frame.");
297                         return NULL;
298                 }
299         } else {
300                 rgb_frame = current_frame;
301         }
302
303         rendered_frame = pixels;
304
305         /* Do RGBA-conversion and flipping in one step depending
306            on CPU-Endianess */
307
308         if (ENDIAN_ORDER == L_ENDIAN) {
309                 int y;
310                 for (y = 0; y < height; y++) {
311                         uint8_t* target = rgb_frame->data[0]
312                                 + width * 4 * (height - y - 1);
313                         uint8_t* src = rendered_frame + width * 4 * y;
314                         uint8_t* end = src + width * 4;
315                         while (src != end) {
316                                 target[3] = src[3];
317                                 target[2] = src[2];
318                                 target[1] = src[1];
319                                 target[0] = src[0];
320
321                                 target += 4;
322                                 src += 4;
323                         }
324                 }
325         } else {
326                 int y;
327                 for (y = 0; y < height; y++) {
328                         uint8_t* target = rgb_frame->data[0]
329                                 + width * 4 * (height - y - 1);
330                         uint8_t* src = rendered_frame + width * 4 * y;
331                         uint8_t* end = src + width * 4;
332                         while (src != end) {
333                                 target[3] = src[0];
334                                 target[2] = src[1];
335                                 target[1] = src[2];
336                                 target[0] = src[3];
337
338                                 target += 4;
339                                 src += 4;
340                         }
341                 }
342         }
343
344         if (c->pix_fmt != PIX_FMT_BGR32) {
345                 sws_scale(img_convert_ctx, (const uint8_t * const*) rgb_frame->data,
346                           rgb_frame->linesize, 0, c->height, 
347                           current_frame->data, current_frame->linesize);
348                 delete_picture(rgb_frame);
349         }
350         return current_frame;
351 }
352
353 static void set_ffmpeg_property_option(AVCodecContext* c, IDProperty * prop)
354 {
355         char name[128];
356         char * param;
357         const AVOption * rv = NULL;
358
359         fprintf(stderr, "FFMPEG expert option: %s: ", prop->name);
360
361         BLI_strncpy(name, prop->name, sizeof(name));
362
363         param = strchr(name, ':');
364
365         if (param) {
366                 *param++ = 0;
367         }
368
369         switch(prop->type) {
370         case IDP_STRING:
371                 fprintf(stderr, "%s.\n", IDP_String(prop));
372                 av_set_string3(c, prop->name, IDP_String(prop), 1, &rv);
373                 break;
374         case IDP_FLOAT:
375                 fprintf(stderr, "%g.\n", IDP_Float(prop));
376                 rv = av_set_double(c, prop->name, IDP_Float(prop));
377                 break;
378         case IDP_INT:
379                 fprintf(stderr, "%d.\n", IDP_Int(prop));
380                 
381                 if (param) {
382                         if (IDP_Int(prop)) {
383                                 av_set_string3(c, name, param, 1, &rv);
384                         } else {
385                                 return;
386                         }
387                 } else {
388                         rv = av_set_int(c, prop->name, IDP_Int(prop));
389                 }
390                 break;
391         }
392
393         if (!rv) {
394                 fprintf(stderr, "ffmpeg-option not supported: %s! Skipping.\n",
395                         prop->name);
396         }
397 }
398
399 static void set_ffmpeg_properties(RenderData *rd, AVCodecContext *c, const char * prop_name)
400 {
401         IDProperty * prop;
402         void * iter;
403         IDProperty * curr;
404
405         if (!rd->ffcodecdata.properties) {
406                 return;
407         }
408         
409         prop = IDP_GetPropertyFromGroup(
410                 rd->ffcodecdata.properties, (char*) prop_name);
411         if (!prop) {
412                 return;
413         }
414
415         iter = IDP_GetGroupIterator(prop);
416
417         while ((curr = IDP_GroupIterNext(iter)) != NULL) {
418                 set_ffmpeg_property_option(c, curr);
419         }
420 }
421
422 /* prepare a video stream for the output file */
423
424 static AVStream* alloc_video_stream(RenderData *rd, int codec_id, AVFormatContext* of,
425                                         int rectx, int recty) 
426 {
427         AVStream* st;
428         AVCodecContext* c;
429         AVCodec* codec;
430         st = av_new_stream(of, 0);
431         if (!st) return NULL;
432
433         /* Set up the codec context */
434         
435         c = st->codec;
436         c->codec_id = codec_id;
437         c->codec_type = AVMEDIA_TYPE_VIDEO;
438
439
440         /* Get some values from the current render settings */
441         
442         c->width = rectx;
443         c->height = recty;
444
445         /* FIXME: Really bad hack (tm) for NTSC support */
446         if (ffmpeg_type == FFMPEG_DV && rd->frs_sec != 25) {
447                 c->time_base.den = 2997;
448                 c->time_base.num = 100;
449         } else if ((double) ((int) rd->frs_sec_base) == 
450                    rd->frs_sec_base) {
451                 c->time_base.den = rd->frs_sec;
452                 c->time_base.num = (int) rd->frs_sec_base;
453         } else {
454                 c->time_base.den = rd->frs_sec * 100000;
455                 c->time_base.num = ((double) rd->frs_sec_base) * 100000;
456         }
457         
458         c->gop_size = ffmpeg_gop_size;
459         c->bit_rate = ffmpeg_video_bitrate*1000;
460         c->rc_max_rate = rd->ffcodecdata.rc_max_rate*1000;
461         c->rc_min_rate = rd->ffcodecdata.rc_min_rate*1000;
462         c->rc_buffer_size = rd->ffcodecdata.rc_buffer_size * 1024;
463         c->rc_initial_buffer_occupancy 
464                 = rd->ffcodecdata.rc_buffer_size*3/4;
465         c->rc_buffer_aggressivity = 1.0;
466         c->me_method = ME_EPZS;
467         
468         codec = avcodec_find_encoder(c->codec_id);
469         if (!codec) return NULL;
470         
471         /* Be sure to use the correct pixel format(e.g. RGB, YUV) */
472         
473         if (codec->pix_fmts) {
474                 c->pix_fmt = codec->pix_fmts[0];
475         } else {
476                 /* makes HuffYUV happy ... */
477                 c->pix_fmt = PIX_FMT_YUV422P;
478         }
479
480         if (ffmpeg_type == FFMPEG_XVID) {
481                 /* arghhhh ... */
482                 c->pix_fmt = PIX_FMT_YUV420P;
483                 c->codec_tag = (('D'<<24) + ('I'<<16) + ('V'<<8) + 'X');
484         }
485
486         if (codec_id == CODEC_ID_H264) {
487                 /* correct wrong default ffmpeg param which crash x264 */
488                 c->qmin=10;
489                 c->qmax=51;
490         }
491         
492         if ((of->oformat->flags & AVFMT_GLOBALHEADER)
493 //              || !strcmp(of->oformat->name, "mp4")
494 //          || !strcmp(of->oformat->name, "mov")
495 //          || !strcmp(of->oformat->name, "3gp")
496                 ) {
497                 fprintf(stderr, "Using global header\n");
498                 c->flags |= CODEC_FLAG_GLOBAL_HEADER;
499         }
500         
501         /* Determine whether we are encoding interlaced material or not */
502         if (rd->mode & R_FIELDS) {
503                 fprintf(stderr, "Encoding interlaced video\n");
504                 c->flags |= CODEC_FLAG_INTERLACED_DCT;
505                 c->flags |= CODEC_FLAG_INTERLACED_ME;
506         }
507
508         /* xasp & yasp got float lately... */
509
510         st->sample_aspect_ratio = c->sample_aspect_ratio = av_d2q(
511                 ((double) rd->xasp / (double) rd->yasp), 255);
512
513         set_ffmpeg_properties(rd, c, "video");
514         
515         if (avcodec_open(c, codec) < 0) {
516                 //
517                 //XXX error("Couldn't initialize codec");
518                 return NULL;
519         }
520
521         video_buffersize = 2000000;
522         video_buffer = (uint8_t*)MEM_mallocN(video_buffersize, 
523                                                  "FFMPEG video buffer");
524         
525         current_frame = alloc_picture(c->pix_fmt, c->width, c->height);
526
527         img_convert_ctx = sws_getContext(c->width, c->height,
528                                          PIX_FMT_BGR32,
529                                          c->width, c->height,
530                                          c->pix_fmt,
531                                          SWS_BICUBIC,
532                                          NULL, NULL, NULL);
533         return st;
534 }
535
536 /* Prepare an audio stream for the output file */
537
538 static AVStream* alloc_audio_stream(RenderData *rd, int codec_id, AVFormatContext* of) 
539 {
540         AVStream* st;
541         AVCodecContext* c;
542         AVCodec* codec;
543
544         st = av_new_stream(of, 1);
545         if (!st) return NULL;
546
547         c = st->codec;
548         c->codec_id = codec_id;
549         c->codec_type = AVMEDIA_TYPE_AUDIO;
550
551         c->sample_rate = rd->ffcodecdata.audio_mixrate;
552         c->bit_rate = ffmpeg_audio_bitrate*1000;
553         c->sample_fmt = SAMPLE_FMT_S16;
554         c->channels = 2;
555         codec = avcodec_find_encoder(c->codec_id);
556         if (!codec) {
557                 //XXX error("Couldn't find a valid audio codec");
558                 return NULL;
559         }
560
561         set_ffmpeg_properties(rd, c, "audio");
562
563         if (avcodec_open(c, codec) < 0) {
564                 //XXX error("Couldn't initialize audio codec");
565                 return NULL;
566         }
567
568         audio_outbuf_size = FF_MIN_BUFFER_SIZE;
569
570         if((c->codec_id >= CODEC_ID_PCM_S16LE) && (c->codec_id <= CODEC_ID_PCM_DVD))
571                 audio_input_samples = audio_outbuf_size * 8 / c->bits_per_coded_sample / c->channels;
572         else
573         {
574                 audio_input_samples = c->frame_size;
575                 if(c->frame_size * c->channels * sizeof(int16_t) * 4 > audio_outbuf_size)
576                         audio_outbuf_size = c->frame_size * c->channels * sizeof(int16_t) * 4;
577         }
578
579         audio_output_buffer = (uint8_t*)MEM_mallocN(
580                 audio_outbuf_size, "FFMPEG audio encoder input buffer");
581
582         audio_input_buffer = (uint8_t*)MEM_mallocN(
583                 audio_input_samples * c->channels * sizeof(int16_t),
584                 "FFMPEG audio encoder output buffer");
585
586         audio_time = 0.0f;
587
588         return st;
589 }
590 /* essential functions -- start, append, end */
591
592 static int start_ffmpeg_impl(struct RenderData *rd, int rectx, int recty, ReportList *reports)
593 {
594         /* Handle to the output file */
595         AVFormatContext* of;
596         AVOutputFormat* fmt;
597         char name[256];
598         const char ** exts;
599
600         ffmpeg_type = rd->ffcodecdata.type;
601         ffmpeg_codec = rd->ffcodecdata.codec;
602         ffmpeg_audio_codec = rd->ffcodecdata.audio_codec;
603         ffmpeg_video_bitrate = rd->ffcodecdata.video_bitrate;
604         ffmpeg_audio_bitrate = rd->ffcodecdata.audio_bitrate;
605         ffmpeg_gop_size = rd->ffcodecdata.gop_size;
606         ffmpeg_autosplit = rd->ffcodecdata.flags
607                 & FFMPEG_AUTOSPLIT_OUTPUT;
608         
609         do_init_ffmpeg();
610
611         /* Determine the correct filename */
612         filepath_ffmpeg(name, rd);
613         fprintf(stderr, "Starting output to %s(ffmpeg)...\n"
614                 "  Using type=%d, codec=%d, audio_codec=%d,\n"
615                 "  video_bitrate=%d, audio_bitrate=%d,\n"
616                 "  gop_size=%d, autosplit=%d\n"
617                 "  render width=%d, render height=%d\n", 
618                 name, ffmpeg_type, ffmpeg_codec, ffmpeg_audio_codec,
619                 ffmpeg_video_bitrate, ffmpeg_audio_bitrate,
620                 ffmpeg_gop_size, ffmpeg_autosplit, rectx, recty);
621         
622         exts = get_file_extensions(ffmpeg_type);
623         if (!exts) {
624                 BKE_report(reports, RPT_ERROR, "No valid formats found.");
625                 return 0;
626         }
627         fmt = av_guess_format(NULL, exts[0], NULL);
628         if (!fmt) {
629                 BKE_report(reports, RPT_ERROR, "No valid formats found.");
630                 return 0;
631         }
632
633         of = avformat_alloc_context();
634         if (!of) {
635                 BKE_report(reports, RPT_ERROR, "Error opening output file");
636                 return 0;
637         }
638         
639         of->oformat = fmt;
640         of->packet_size= rd->ffcodecdata.mux_packet_size;
641         if (ffmpeg_audio_codec != CODEC_ID_NONE) {
642                 of->mux_rate = rd->ffcodecdata.mux_rate;
643         } else {
644                 of->mux_rate = 0;
645         }
646
647         of->preload = (int)(0.5*AV_TIME_BASE);
648         of->max_delay = (int)(0.7*AV_TIME_BASE);
649
650         fmt->audio_codec = ffmpeg_audio_codec;
651
652         snprintf(of->filename, sizeof(of->filename), "%s", name);
653         /* set the codec to the user's selection */
654         switch(ffmpeg_type) {
655         case FFMPEG_AVI:
656         case FFMPEG_MOV:
657         case FFMPEG_OGG:
658         case FFMPEG_MKV:
659                 fmt->video_codec = ffmpeg_codec;
660                 break;
661         case FFMPEG_DV:
662                 fmt->video_codec = CODEC_ID_DVVIDEO;
663                 break;
664         case FFMPEG_MPEG1:
665                 fmt->video_codec = CODEC_ID_MPEG1VIDEO;
666                 break;
667         case FFMPEG_MPEG2:
668                 fmt->video_codec = CODEC_ID_MPEG2VIDEO;
669                 break;
670         case FFMPEG_H264:
671                 fmt->video_codec = CODEC_ID_H264;
672                 break;
673         case FFMPEG_XVID:
674                 fmt->video_codec = CODEC_ID_MPEG4;
675                 break;
676         case FFMPEG_FLV:
677                 fmt->video_codec = CODEC_ID_FLV1;
678                 break;
679         case FFMPEG_MP3:
680                 fmt->audio_codec = CODEC_ID_MP3;
681         case FFMPEG_WAV:
682                 fmt->video_codec = CODEC_ID_NONE;
683                 break;
684         case FFMPEG_MPEG4:
685         default:
686                 fmt->video_codec = CODEC_ID_MPEG4;
687                 break;
688         }
689         if (fmt->video_codec == CODEC_ID_DVVIDEO) {
690                 if (rectx != 720) {
691                         BKE_report(reports, RPT_ERROR, "Render width has to be 720 pixels for DV!");
692                         return 0;
693                 }
694                 if (rd->frs_sec != 25 && recty != 480) {
695                         BKE_report(reports, RPT_ERROR, "Render height has to be 480 pixels for DV-NTSC!");
696                         return 0;
697                 }
698                 if (rd->frs_sec == 25 && recty != 576) {
699                         BKE_report(reports, RPT_ERROR, "Render height has to be 576 pixels for DV-PAL!");
700                         return 0;
701                 }
702         }
703         
704         if (ffmpeg_type == FFMPEG_DV) {
705                 fmt->audio_codec = CODEC_ID_PCM_S16LE;
706                 if (ffmpeg_audio_codec != CODEC_ID_NONE && rd->ffcodecdata.audio_mixrate != 48000) {
707                         BKE_report(reports, RPT_ERROR, "FFMPEG only supports 48khz / stereo audio for DV!");
708                         return 0;
709                 }
710         }
711         
712         if (fmt->video_codec != CODEC_ID_NONE) {
713                 video_stream = alloc_video_stream(rd, fmt->video_codec, of, rectx, recty);
714                 printf("alloc video stream %p\n", video_stream);
715                 if (!video_stream) {
716                         BKE_report(reports, RPT_ERROR, "Error initializing video stream.");
717                         return 0;
718                 }
719         }
720
721         if (ffmpeg_audio_codec != CODEC_ID_NONE) {
722                 audio_stream = alloc_audio_stream(rd, fmt->audio_codec, of);
723                 if (!audio_stream) {
724                         BKE_report(reports, RPT_ERROR, "Error initializing audio stream.");
725                         return 0;
726                 }
727         }
728         if (av_set_parameters(of, NULL) < 0) {
729                 BKE_report(reports, RPT_ERROR, "Error setting output parameters.");
730                 return 0;
731         }
732         if (!(fmt->flags & AVFMT_NOFILE)) {
733                 if (avio_open(&of->pb, name, AVIO_FLAG_WRITE) < 0) {
734                         BKE_report(reports, RPT_ERROR, "Could not open file for writing.");
735                         return 0;
736                 }
737         }
738
739         av_write_header(of);
740         outfile = of;
741         av_dump_format(of, 0, name, 1);
742
743         return 1;
744 }
745
746 /**
747  * Writes any delayed frames in the encoder. This function is called before 
748  * closing the encoder.
749  *
750  * <p>
751  * Since an encoder may use both past and future frames to predict 
752  * inter-frames (H.264 B-frames, for example), it can output the frames 
753  * in a different order from the one it was given.
754  * For example, when sending frames 1, 2, 3, 4 to the encoder, it may write
755  * them in the order 1, 4, 2, 3 - first the two frames used for predition, 
756  * and then the bidirectionally-predicted frames. What this means in practice 
757  * is that the encoder may not immediately produce one output frame for each 
758  * input frame. These delayed frames must be flushed before we close the 
759  * stream. We do this by calling avcodec_encode_video with NULL for the last 
760  * parameter.
761  * </p>
762  */
763 void flush_ffmpeg(void)
764 {
765         int outsize = 0;
766         int ret = 0;
767         
768         AVCodecContext* c = video_stream->codec;
769         /* get the delayed frames */
770         while (1) {
771                 AVPacket packet;
772                 av_init_packet(&packet);
773                 
774                 outsize = avcodec_encode_video(c, video_buffer, video_buffersize, NULL);
775                 if (outsize < 0) {
776                         fprintf(stderr, "Error encoding delayed frame %d\n", outsize);
777                         break;
778                 }
779                 if (outsize == 0) {
780                         break;
781                 }
782                 if (c->coded_frame->pts != AV_NOPTS_VALUE) {
783                         packet.pts = av_rescale_q(c->coded_frame->pts,
784                                                   c->time_base,
785                                                   video_stream->time_base);
786                         fprintf(stderr, "Video Frame PTS: %d\n", (int)packet.pts);
787                 } else {
788                         fprintf(stderr, "Video Frame PTS: not set\n");
789                 }
790                 if (c->coded_frame->key_frame) {
791                         packet.flags |= AV_PKT_FLAG_KEY;
792                 }
793                 packet.stream_index = video_stream->index;
794                 packet.data = video_buffer;
795                 packet.size = outsize;
796                 ret = av_interleaved_write_frame(outfile, &packet);
797                 if (ret != 0) {
798                         fprintf(stderr, "Error writing delayed frame %d\n", ret);
799                         break;
800                 }
801         }
802         avcodec_flush_buffers(video_stream->codec);
803 }
804
805 /* **********************************************************************
806    * public interface
807    ********************************************************************** */
808
809 /* Get the output filename-- similar to the other output formats */
810 void filepath_ffmpeg(char* string, RenderData* rd) {
811         char autosplit[20];
812
813         const char ** exts = get_file_extensions(rd->ffcodecdata.type);
814         const char ** fe = exts;
815
816         if (!string || !exts) return;
817
818         strcpy(string, rd->pic);
819         BLI_path_abs(string, G.main->name);
820
821         BLI_make_existing_file(string);
822
823         autosplit[0] = 0;
824
825         if ((rd->ffcodecdata.flags & FFMPEG_AUTOSPLIT_OUTPUT) != 0) {
826                 sprintf(autosplit, "_%03d", ffmpeg_autosplit_count);
827         }
828
829         while (*fe) {
830                 if (BLI_strcasecmp(string + strlen(string) - strlen(*fe), 
831                                    *fe) == 0) {
832                         break;
833                 }
834                 fe++;
835         }
836
837         if (!*fe) {
838                 strcat(string, autosplit);
839
840                 BLI_path_frame_range(string, rd->sfra, rd->efra, 4);
841                 strcat(string, *exts);
842         } else {
843                 *(string + strlen(string) - strlen(*fe)) = 0;
844                 strcat(string, autosplit);
845                 strcat(string, *fe);
846         }
847 }
848
849 int start_ffmpeg(struct Scene *scene, RenderData *rd, int rectx, int recty, ReportList *reports)
850 {
851         int success;
852
853         ffmpeg_autosplit_count = 0;
854
855         success = start_ffmpeg_impl(rd, rectx, recty, reports);
856
857         if(audio_stream)
858         {
859                 AVCodecContext* c = audio_stream->codec;
860                 AUD_DeviceSpecs specs;
861                 specs.channels = c->channels;
862                 specs.format = AUD_FORMAT_S16;
863                 specs.rate = rd->ffcodecdata.audio_mixrate;
864                 audio_mixdown_device = sound_mixdown(scene, specs, rd->sfra, rd->ffcodecdata.audio_volume);
865         }
866
867         return success;
868 }
869
870 void end_ffmpeg(void);
871
872 static void write_audio_frames(double to_pts)
873 {
874         int finished = 0;
875
876         while (audio_stream && !finished) {
877                 if((audio_time >= to_pts) ||
878                    (write_audio_frame())) {
879                         finished = 1;
880                 }
881         }
882 }
883
884 int append_ffmpeg(RenderData *rd, int frame, int *pixels, int rectx, int recty, ReportList *reports) 
885 {
886         AVFrame* avframe;
887         int success = 1;
888
889         fprintf(stderr, "Writing frame %i, "
890                 "render width=%d, render height=%d\n", frame,
891                 rectx, recty);
892
893 // why is this done before writing the video frame and again at end_ffmpeg?
894 //      write_audio_frames(frame / (((double)rd->frs_sec) / rd->frs_sec_base));
895
896         if(video_stream)
897         {
898                 avframe= generate_video_frame((unsigned char*) pixels, reports);
899                 success= (avframe && write_video_frame(rd, avframe, reports));
900
901                 if (ffmpeg_autosplit) {
902                         if (avio_tell(outfile->pb) > FFMPEG_AUTOSPLIT_SIZE) {
903                                 end_ffmpeg();
904                                 ffmpeg_autosplit_count++;
905                                 success &= start_ffmpeg_impl(rd, rectx, recty, reports);
906                         }
907                 }
908         }
909
910         write_audio_frames((frame - rd->sfra) / (((double)rd->frs_sec) / rd->frs_sec_base));
911
912         return success;
913 }
914
915 void end_ffmpeg(void)
916 {
917         unsigned int i;
918         
919         fprintf(stderr, "Closing ffmpeg...\n");
920
921 /*      if (audio_stream) { SEE UPPER
922                 write_audio_frames();
923         }*/
924
925         if(audio_mixdown_device)
926         {
927                 AUD_closeReadDevice(audio_mixdown_device);
928                 audio_mixdown_device = 0;
929         }
930         
931         if (video_stream && video_stream->codec) {
932                 fprintf(stderr, "Flushing delayed frames...\n");
933                 flush_ffmpeg ();                
934         }
935         
936         if (outfile) {
937                 av_write_trailer(outfile);
938         }
939         
940         /* Close the video codec */
941
942         if (video_stream && video_stream->codec) {
943                 avcodec_close(video_stream->codec);
944                 printf("zero video stream %p\n", video_stream);
945                 video_stream = 0;
946         }
947
948         
949         /* Close the output file */
950         if (outfile) {
951                 for (i = 0; i < outfile->nb_streams; i++) {
952                         if (&outfile->streams[i]) {
953                                 av_freep(&outfile->streams[i]);
954                         }
955                 }
956         }
957         /* free the temp buffer */
958         if (current_frame) {
959                 delete_picture(current_frame);
960                 current_frame = 0;
961         }
962         if (outfile && outfile->oformat) {
963                 if (!(outfile->oformat->flags & AVFMT_NOFILE)) {
964                         avio_close(outfile->pb);
965                 }
966         }
967         if (outfile) {
968                 av_free(outfile);
969                 outfile = 0;
970         }
971         if (video_buffer) {
972                 MEM_freeN(video_buffer);
973                 video_buffer = 0;
974         }
975         if (audio_output_buffer) {
976                 MEM_freeN(audio_output_buffer);
977                 audio_output_buffer = 0;
978         }
979         if (audio_input_buffer) {
980                 MEM_freeN(audio_input_buffer);
981                 audio_input_buffer = 0;
982         }
983
984         if (img_convert_ctx) {
985                 sws_freeContext(img_convert_ctx);
986                 img_convert_ctx = 0;
987         }
988 }
989
990 /* properties */
991
992 void ffmpeg_property_del(RenderData *rd, void *type, void *prop_)
993 {
994         struct IDProperty *prop = (struct IDProperty *) prop_;
995         IDProperty * group;
996         
997         if (!rd->ffcodecdata.properties) {
998                 return;
999         }
1000
1001         group = IDP_GetPropertyFromGroup(
1002                 rd->ffcodecdata.properties, (char*) type);
1003         if (group && prop) {
1004                 IDP_RemFromGroup(group, prop);
1005                 IDP_FreeProperty(prop);
1006                 MEM_freeN(prop);
1007         }
1008 }
1009
1010 IDProperty *ffmpeg_property_add(RenderData *rd, char * type, int opt_index, int parent_index)
1011 {
1012         AVCodecContext c;
1013         const AVOption * o;
1014         const AVOption * parent;
1015         IDProperty * group;
1016         IDProperty * prop;
1017         IDPropertyTemplate val;
1018         int idp_type;
1019         char name[256];
1020         
1021         val.i = 0;
1022
1023         avcodec_get_context_defaults(&c);
1024
1025         o = c.av_class->option + opt_index;
1026         parent = c.av_class->option + parent_index;
1027
1028         if (!rd->ffcodecdata.properties) {
1029                 rd->ffcodecdata.properties 
1030                         = IDP_New(IDP_GROUP, val, "ffmpeg"); 
1031         }
1032
1033         group = IDP_GetPropertyFromGroup(
1034                 rd->ffcodecdata.properties, (char*) type);
1035         
1036         if (!group) {
1037                 group = IDP_New(IDP_GROUP, val, (char*) type); 
1038                 IDP_AddToGroup(rd->ffcodecdata.properties, group);
1039         }
1040
1041         if (parent_index) {
1042                 sprintf(name, "%s:%s", parent->name, o->name);
1043         } else {
1044                 strcpy(name, o->name);
1045         }
1046
1047         fprintf(stderr, "ffmpeg_property_add: %s %d %d %s\n",
1048                 type, parent_index, opt_index, name);
1049
1050         prop = IDP_GetPropertyFromGroup(group, name);
1051         if (prop) {
1052                 return prop;
1053         }
1054
1055         switch (o->type) {
1056         case FF_OPT_TYPE_INT:
1057         case FF_OPT_TYPE_INT64:
1058                 val.i = FFMPEG_DEF_OPT_VAL_INT(o);
1059                 idp_type = IDP_INT;
1060                 break;
1061         case FF_OPT_TYPE_DOUBLE:
1062         case FF_OPT_TYPE_FLOAT:
1063                 val.f = FFMPEG_DEF_OPT_VAL_DOUBLE(o);
1064                 idp_type = IDP_FLOAT;
1065                 break;
1066         case FF_OPT_TYPE_STRING:
1067                 val.str = "                                                                               ";
1068                 idp_type = IDP_STRING;
1069                 break;
1070         case FF_OPT_TYPE_CONST:
1071                 val.i = 1;
1072                 idp_type = IDP_INT;
1073                 break;
1074         default:
1075                 return NULL;
1076         }
1077         prop = IDP_New(idp_type, val, name);
1078         IDP_AddToGroup(group, prop);
1079         return prop;
1080 }
1081
1082 /* not all versions of ffmpeg include that, so here we go ... */
1083
1084 static const AVOption *my_av_find_opt(void *v, const char *name, 
1085                                           const char *unit, int mask, int flags){
1086         AVClass *c= *(AVClass**)v; 
1087         const AVOption *o= c->option;
1088
1089         for(;o && o->name; o++){
1090                 if(!strcmp(o->name, name) && 
1091                    (!unit || (o->unit && !strcmp(o->unit, unit))) && 
1092                    (o->flags & mask) == flags )
1093                         return o;
1094         }
1095         return NULL;
1096 }
1097
1098 int ffmpeg_property_add_string(RenderData *rd, const char * type, const char * str)
1099 {
1100         AVCodecContext c;
1101         const AVOption * o = 0;
1102         const AVOption * p = 0;
1103         char name_[128];
1104         char * name;
1105         char * param;
1106         IDProperty * prop;
1107         
1108         avcodec_get_context_defaults(&c);
1109
1110         strncpy(name_, str, sizeof(name_));
1111
1112         name = name_;
1113         while (*name == ' ') name++;
1114
1115         param = strchr(name, ':');
1116
1117         if (!param) {
1118                 param = strchr(name, ' ');
1119         }
1120         if (param) {
1121                 *param++ = 0;
1122                 while (*param == ' ') param++;
1123         }
1124         
1125         o = my_av_find_opt(&c, name, NULL, 0, 0);       
1126         if (!o) {
1127                 return 0;
1128         }
1129         if (param && o->type == FF_OPT_TYPE_CONST) {
1130                 return 0;
1131         }
1132         if (param && o->type != FF_OPT_TYPE_CONST && o->unit) {
1133                 p = my_av_find_opt(&c, param, o->unit, 0, 0);   
1134                 prop = ffmpeg_property_add(rd,
1135                         (char*) type, p - c.av_class->option, 
1136                         o - c.av_class->option);
1137         } else {
1138                 prop = ffmpeg_property_add(rd,
1139                         (char*) type, o - c.av_class->option, 0);
1140         }
1141                 
1142
1143         if (!prop) {
1144                 return 0;
1145         }
1146
1147         if (param && !p) {
1148                 switch (prop->type) {
1149                 case IDP_INT:
1150                         IDP_Int(prop) = atoi(param);
1151                         break;
1152                 case IDP_FLOAT:
1153                         IDP_Float(prop) = atof(param);
1154                         break;
1155                 case IDP_STRING:
1156                         strncpy(IDP_String(prop), param, prop->len);
1157                         break;
1158                 }
1159         }
1160         return 1;
1161 }
1162
1163 void ffmpeg_set_preset(RenderData *rd, int preset)
1164 {
1165         int isntsc = (rd->frs_sec != 25);
1166
1167         switch (preset) {
1168         case FFMPEG_PRESET_VCD:
1169                 rd->ffcodecdata.type = FFMPEG_MPEG1;
1170                 rd->ffcodecdata.video_bitrate = 1150;
1171                 rd->xsch = 352;
1172                 rd->ysch = isntsc ? 240 : 288;
1173                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1174                 rd->ffcodecdata.rc_max_rate = 1150;
1175                 rd->ffcodecdata.rc_min_rate = 1150;
1176                 rd->ffcodecdata.rc_buffer_size = 40*8;
1177                 rd->ffcodecdata.mux_packet_size = 2324;
1178                 rd->ffcodecdata.mux_rate = 2352 * 75 * 8;
1179                 break;
1180
1181         case FFMPEG_PRESET_SVCD:
1182                 rd->ffcodecdata.type = FFMPEG_MPEG2;
1183                 rd->ffcodecdata.video_bitrate = 2040;
1184                 rd->xsch = 480;
1185                 rd->ysch = isntsc ? 480 : 576;
1186                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1187                 rd->ffcodecdata.rc_max_rate = 2516;
1188                 rd->ffcodecdata.rc_min_rate = 0;
1189                 rd->ffcodecdata.rc_buffer_size = 224*8;
1190                 rd->ffcodecdata.mux_packet_size = 2324;
1191                 rd->ffcodecdata.mux_rate = 0;
1192                 break;
1193
1194         case FFMPEG_PRESET_DVD:
1195                 rd->ffcodecdata.type = FFMPEG_MPEG2;
1196                 rd->ffcodecdata.video_bitrate = 6000;
1197                 rd->xsch = 720;
1198                 rd->ysch = isntsc ? 480 : 576;
1199                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1200                 rd->ffcodecdata.rc_max_rate = 9000;
1201                 rd->ffcodecdata.rc_min_rate = 0;
1202                 rd->ffcodecdata.rc_buffer_size = 224*8;
1203                 rd->ffcodecdata.mux_packet_size = 2048;
1204                 rd->ffcodecdata.mux_rate = 10080000;
1205                 break;
1206
1207         case FFMPEG_PRESET_DV:
1208                 rd->ffcodecdata.type = FFMPEG_DV;
1209                 rd->xsch = 720;
1210                 rd->ysch = isntsc ? 480 : 576;
1211                 break;
1212
1213         case FFMPEG_PRESET_H264:
1214                 rd->ffcodecdata.type = FFMPEG_AVI;
1215                 rd->ffcodecdata.codec = CODEC_ID_H264;
1216                 rd->ffcodecdata.video_bitrate = 6000;
1217                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1218                 rd->ffcodecdata.rc_max_rate = 9000;
1219                 rd->ffcodecdata.rc_min_rate = 0;
1220                 rd->ffcodecdata.rc_buffer_size = 224*8;
1221                 rd->ffcodecdata.mux_packet_size = 2048;
1222                 rd->ffcodecdata.mux_rate = 10080000;
1223
1224                 /*
1225                  * All options here are for x264, but must be set via ffmpeg.
1226                  * The names are therefore different - Search for "x264 to FFmpeg option mapping"
1227                  * to get a list.
1228                  */
1229                 
1230                 /*
1231                  * Use CABAC coder. Using "coder:1", which should be equivalent,
1232                  * crashes Blender for some reason. Either way - this is no big deal.
1233                  */
1234                 ffmpeg_property_add_string(rd, "video", "coder:vlc");
1235                 
1236                 /* 
1237                  * The other options were taken from the libx264-default.preset
1238                  * included in the ffmpeg distribution.
1239                  */
1240                 ffmpeg_property_add_string(rd, "video", "flags:loop");
1241                 ffmpeg_property_add_string(rd, "video", "cmp:chroma");
1242                 ffmpeg_property_add_string(rd, "video", "partitions:parti4x4");
1243                 ffmpeg_property_add_string(rd, "video", "partitions:partp8x8");
1244                 ffmpeg_property_add_string(rd, "video", "partitions:partb8x8");
1245                 ffmpeg_property_add_string(rd, "video", "me:hex");
1246                 ffmpeg_property_add_string(rd, "video", "subq:6");
1247                 ffmpeg_property_add_string(rd, "video", "me_range:16");
1248                 ffmpeg_property_add_string(rd, "video", "qdiff:4");
1249                 ffmpeg_property_add_string(rd, "video", "keyint_min:25");
1250                 ffmpeg_property_add_string(rd, "video", "sc_threshold:40");
1251                 ffmpeg_property_add_string(rd, "video", "i_qfactor:0.71");
1252                 ffmpeg_property_add_string(rd, "video", "b_strategy:1");
1253                 ffmpeg_property_add_string(rd, "video", "bf:3");
1254                 ffmpeg_property_add_string(rd, "video", "refs:2");
1255                 ffmpeg_property_add_string(rd, "video", "qcomp:0.6");
1256                 ffmpeg_property_add_string(rd, "video", "directpred:3");
1257                 ffmpeg_property_add_string(rd, "video", "trellis:0");
1258                 ffmpeg_property_add_string(rd, "video", "flags2:wpred");
1259                 ffmpeg_property_add_string(rd, "video", "flags2:dct8x8");
1260                 ffmpeg_property_add_string(rd, "video", "flags2:fastpskip");
1261                 ffmpeg_property_add_string(rd, "video", "wpredp:2");
1262                 
1263                 // This makes x264 output lossless. Will be a separate option later.
1264                 //ffmpeg_property_add_string(rd, "video", "cqp:0");
1265                 break;
1266
1267         case FFMPEG_PRESET_THEORA:
1268         case FFMPEG_PRESET_XVID:
1269                 if(preset == FFMPEG_PRESET_XVID) {
1270                         rd->ffcodecdata.type = FFMPEG_AVI;
1271                         rd->ffcodecdata.codec = CODEC_ID_MPEG4;
1272                 }
1273                 else if(preset == FFMPEG_PRESET_THEORA) {
1274                         rd->ffcodecdata.type = FFMPEG_OGG; // XXX broken
1275                         rd->ffcodecdata.codec = CODEC_ID_THEORA;
1276                 }
1277
1278                 rd->ffcodecdata.video_bitrate = 6000;
1279                 rd->ffcodecdata.gop_size = isntsc ? 18 : 15;
1280                 rd->ffcodecdata.rc_max_rate = 9000;
1281                 rd->ffcodecdata.rc_min_rate = 0;
1282                 rd->ffcodecdata.rc_buffer_size = 224*8;
1283                 rd->ffcodecdata.mux_packet_size = 2048;
1284                 rd->ffcodecdata.mux_rate = 10080000;
1285                 break;
1286
1287         }
1288 }
1289
1290 void ffmpeg_verify_image_type(RenderData *rd)
1291 {
1292         int audio= 0;
1293
1294         if(rd->imtype == R_FFMPEG) {
1295                 if(rd->ffcodecdata.type <= 0 ||
1296                    rd->ffcodecdata.codec <= 0 ||
1297                    rd->ffcodecdata.audio_codec <= 0 ||
1298                    rd->ffcodecdata.video_bitrate <= 1) {
1299
1300                         rd->ffcodecdata.codec = CODEC_ID_MPEG2VIDEO;
1301                         /* Don't set preset, disturbs render resolution.
1302                          * ffmpeg_set_preset(rd, FFMPEG_PRESET_DVD); */
1303                 }
1304
1305                 audio= 1;
1306         }
1307         else if(rd->imtype == R_H264) {
1308                 if(rd->ffcodecdata.codec != CODEC_ID_H264) {
1309                         ffmpeg_set_preset(rd, FFMPEG_PRESET_H264);
1310                         audio= 1;
1311                 }
1312         }
1313         else if(rd->imtype == R_XVID) {
1314                 if(rd->ffcodecdata.codec != CODEC_ID_MPEG4) {
1315                         ffmpeg_set_preset(rd, FFMPEG_PRESET_XVID);
1316                         audio= 1;
1317                 }
1318         }
1319         else if(rd->imtype == R_THEORA) {
1320                 if(rd->ffcodecdata.codec != CODEC_ID_THEORA) {
1321                         ffmpeg_set_preset(rd, FFMPEG_PRESET_THEORA);
1322                         audio= 1;
1323                 }
1324         }
1325
1326         if(audio && rd->ffcodecdata.audio_codec < 0) {
1327                 rd->ffcodecdata.audio_codec = CODEC_ID_NONE;
1328                 rd->ffcodecdata.audio_bitrate = 128;
1329         }
1330 }
1331
1332 #endif
1333