Android MediaCodec显示缓冲H264帧

Question

我正在手动读取一个RTP/H264流，并将H264帧传递给Android MediaCodec。我使用“markerbit”作为帧的边框。MediaCodec被绑定到一个OpenGL纹理（SurfaceTexture）。总的来说，一切都很好。但解码器似乎在缓冲帧。如果我把一个帧放入解码器，它不会立即呈现到纹理上。当我在解码器中多放2-3帧后，第一帧被渲染到纹理中。

我正在针对Android4.4.4实现。

private static final int INFINITE_TIMEOUT = -1;
private static final int TIMEOUT_OUTPUT_BUFFER_MEDIA_CODEC = 1000;
...
int bufferIndex = codec.dequeueInputBuffer(INFINITE_TIMEOUT);
if (bufferIndex < 0) {
  throw new RuntimeException("Error");
}

ByteBuffer inputBuffer = inputBuffers[bufferIndex];
inputBuffer.clear();

// Copy H264 data to inputBuffer
h264Frame.fill(inputBuffer);

codec.queueInputBuffer(bufferIndex, 0, inputBuffer.position(), 0, 0);
drainOutputBuffers();
...

private boolean drainOutputBuffers() {
MediaCodec.BufferInfo buffInfo = new MediaCodec.BufferInfo();

int outputBufferIndex = codec.dequeueOutputBuffer(buffInfo, TIMEOUT_OUTPUT_BUFFER_MEDIA_CODEC);

if (outputBufferIndex >= 0) {
  codec.releaseOutputBuffer(outputBufferIndex, true);
  return true;
}

switch (outputBufferIndex) {
  case MediaCodec.INFO_TRY_AGAIN_LATER:
    LOG.debug("Could not dequeue output buffer. Try again later");
    break;
  case MediaCodec.INFO_OUTPUT_FORMAT_CHANGED:
    LOG.warn("The output format has changed.");
    break;
  case MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED:
    LOG.warn("The output buffers has changed.");
    break;
  default:
    LOG.warn("The output buffer index was negative: {}", outputBufferIndex);
}
return false;
}

Answer 1

在输出第一个解码输出帧之前，Mediacodec解码器缓冲6-7个帧。好像是MediaCodec有缺陷。这将是流式应用程序中的问题。到目前为止，我的调试显示，使用mediacodec解码H264在流启动期间有6-7帧延迟。