利用AutoGen FFmpeg库实现MP4音频/视频同步

Question

我目前有问题，使我的音频和视频流保持同步。

以下是我正在使用的AVCodecContexts：

视频：

AVCodec* videoCodec = ffmpeg.avcodec_find_encoder(AVCodecID.AV_CODEC_ID_H264)
AVCodecContext* videoCodecContext = ffmpeg.avcodec_alloc_context3(videoCodec);
videoCodecContext->bit_rate = 400000;
videoCodecContext->width = 1280;
videoCodecContext->height = 720;
videoCodecContext->gop_size = 12;
videoCodecContext->max_b_frames = 1;
videoCodecContext->pix_fmt = videoCodec->pix_fmts[0];
videoCodecContext->codec_id = videoCodec->id;
videoCodecContext->codec_type = videoCodec->type;
videoCodecContext->time_base = new AVRational
{
    num = 1,
    den = 30
};

AVCodec* audioCodec = ffmpeg.avcodec_find_encoder(AVCodecID.AV_CODEC_ID_AAC)
AVCodecContext* audioCodecContext = ffmpeg.avcodec_alloc_context3(audioCodec);
audioCodecContext->bit_rate = 1280000;
audioCodecContext->sample_rate = 48000;
audioCodecContext->channels = 2;
audioCodecContext->channel_layout = ffmpeg.AV_CH_LAYOUT_STEREO;
audioCodecContext->frame_size = 1024;
audioCodecContext->sample_fmt = audioCodec->sample_fmts[0];
audioCodecContext->profile = ffmpeg.FF_PROFILE_AAC_LOW;
audioCodecContext->codec_id = audioCodec->id;
audioCodecContext->codec_type = audioCodec->type;

outputFrame->pts = frameIndex;  // The current index of the image frame being written

ffmpeg.av_packet_rescale_ts(&packet, videoCodecContext->time_base, videoStream->time_base);

这演奏得很完美。

然而，当我对音频做同样的操作时，视频以慢动作播放，首先播放音频，然后在没有声音的情况下继续播放视频。

我找不到任何地方的例子如何设置PTS/DTS位置的视频/音频在MP4文件。任何帮助的例子都将是伟大的！

而且，我首先写视频帧，然后（一旦它们都写好了）我写音频。我已经用注释中建议的调整值更新了这个问题。

我已经上传了一个测试视频来显示我的结果:http://www.filedropper.com/test_124

Answer 1

PS：查看这篇文章/教程与FFMPEG的A/V同步。它可能会帮助你，如果下面没有。

1）关于视频和音频时间戳...

而不是使用当前frameindex作为时间戳，然后再重新缩放它们。如果可能，只需跳过取消。

2）关于音频设置...

比特率:
AudioCodecContext->bit_rate=64000；如果sample_rate是48000Hz（我假设您的比特深度是每个样本16比特？），那么似乎很奇怪。

尝试96000或128000作为最低起始值。

int avcodeccontext::frame_size表示“音频帧中每个通道的样本数”。

考虑到上面引用的文档，并且MPEG AAC不做“每通道”（因为两个L/R通道的数据都包含在每帧中）。每个AAC帧保存1024个PCM样本。

AudioCodecContext->frame_size=88200；对于大小，可以尝试=1024；

配置文件:
我注意到AAC配置文件使用了main。我习惯在视频中看到低复杂度。我尝试了几个随机的MP4文件从各种来源在我的硬盘上，我找不到一个使用“main”配置文件。作为最后的手段，测试“低复杂性”不会有什么坏处。

尝试使用AudioCodecContext->profile=ffmpeg.ff_profile_aac_low；

PS：检查这个可能的AAC问题（取决于您的FFmpeg版本）。