用ffmpeg解码AAC音频

Question

我正在尝试解码ADTS容器中的AAC音频流，该音频流来自外部硬件H264编码器。

我分析了ADT，它告诉我我有一个2通道，44100 AAC主配置文件框架。我为ffmpeg解码器设置了额外的数据字节，并成功解码了帧？详情如下：

（伪c代码）

设置解码器：

avcodec_find_decoder(codec_id);
avcodec_alloc_context3(context->codec);
avcodec_open2(context->av_codec_context, context->codec, nullptr);
av_init_packet(&context->av_raw_packet);

设置额外的数据字节：

// AOT_MAIN, 44.1kHz, Stereo
// 00001010 00010000
// extradata = 0x0A, 0X10
memcpy(context->av_codec_context->extradata, extradata, extradataLength);
avcodec_open2(context->av_codec_context, context->codec, nullptr);

然后解码帧：

// decode frame
const int len = avcodec_decode_audio4(context->av_codec_context, context->frame, &html" target="_blank">got_frame, &context->av_raw_packet);
*sampleRate = context->av_codec_context->sample_rate;
*sampleFormat = context->av_codec_context->sample_format;
*bitsPerSample = av_get_bytes_per_sample(context->av_codec_context->sample_fmt) * 8;
*channels = context->av_codec_context->channels;
*channelLayout = context->av_codec_context->channelLayout;
// get frame
*outDataSize = av_samples_get_buffer_size(nullptr, context->av_codec_context->channels, context->frame->nb_samples, context->av_codec_context->sample_fmt, 1);

解码帧：

// array of 8192 bytes, context info is as expected:
context->av_codec_context->channels = 2
context->av_codec_context->channelLayout = 3 (AV_CH_LAYOUT_STEREO)
context->frame->sample_fmt = 8 (AV_SAMPLE_FMT_FLTP) // float, planar
context->frame->sample_rate = 44100

现在，据我所知，32位原始格式的每个帧每个采样将有4个字节，每个通道将被交错（因此每4个字节是交替通道）。这就为每个通道（8192/32位/2通道）留下了1024个样本。

我曾尝试将多帧数据导出到一个文件，并在Audacity to sanity check中作为原始文件导入（32位浮点，2通道44100Hz，little endian）。我得到的不是音乐，而是噪音，检测到的音频长度比我预期的要长（5秒转储到文件中，但Audacity说是22.5秒）。我尝试了各种导入格式设置。我可能做错了什么？

我对音频有点陌生，所以我可能误解了什么。

Answer 1

这只不过是一个很难找到的bug。在Audacity中放大音频样本，发现了1024个样本宽的重复模式。

实际上，缓冲区没有被正确更新，我一遍又一遍地处理同一个音频帧：

for(var offset = 0; offset < packet.Length; offset++) {
  var frame = ReadAdtsFrame();
  // offset += frame.Length; 
  // ^ essentially this was missing, so the frame buffer was always the first frame
}

我将把这篇文章留在这里，向全世界展示我的羞耻感，并提醒大家，通常是你自己的错误最终导致了你。