用MediaCodec解码h264

Question

我正在解码从Android上的wifi摄像头接收到的原始h264。

这是解码时产生的视频的一个例子，除了底部部分看起来很好。

我还注意到一些奇怪的事情，当我移动摄像机时，饲料似乎运行几乎完全流畅（底部没有垃圾），一旦我把它放下，垃圾视频返回（我会以为它是相反的方式...）

我正在将h264数据解析成以澳元开头的块，每个块以澳元开头，当另一个开始时结束。

[0, 0, 0, 1, 9, 48, 0, 0, 0, 1, 6, 1, 9, 0, 12, 8, 36, 104, 0, 0, 3, 0, 1, -128, 0, 0, 0, 1, 33, -32, 96, 97, 92, -97, 71, 89, -31, 127, -120, 11, 23, ..., 0, 0, 1, -64, ... , -59, 2, -32, 62, -111, -64, 0, 0, 1, -32, 0, 0, -124, -128, 5, 33, 0, 1, -60, -31]

[0, 0, 0, 1, 9, 48, 0, 0, 0, 1, 6, 1, 9, 0, 14, 8, 36, 104, 0, 0, 3, 0, 1, -128, 0, 0, 0, 1, 33, -32, 112, 113, 92, -97, 72, 24, 96, 80, 2, 88, 70, ..., 98, -75, 27, 0, 0, 1, -64, 1, 82, ... , 119, 2, -32, 62, -111, -64, 0, 0, 1, -32, 0, 0, -124, -128, 5, 33, 0, 1, -31, 1]

0, 0, 0, 1, 9, 16, 0, 0, 0, 1, 39, SPS, 0, 0, 0, 1, 40, PPS, 0, 0, 0, 1, 6, 0, 13, -128, -89, 89, -128, 8, 117, 0, -89, 89, -128, 8, 117, 64, 1, 9, 0, 16, 8, 36, 104, 0, 0, 3, 0, 1, 6, 1, -60, -128, 0, 0, 0, 1, 37, -72, 1, 0, 1, -1, -16, 13, ... , 108, 60, -83, 101, 0, 0, 1, -32, 0, 0, -124, -128, 5, 33, 0, 3, 25, 65

我的理解是，每个解析的“块”（以AUD开头）是一个访问单元，这是我放入缓冲区并馈送到解码器的内容。

我把正确的输入输入到解码器了吗？

我怎么才能摆脱底部的垃圾视频？

Answer 1

“垃圾部分”看起来像编码器填充部分。在内部，所有的h264视频编码的维度是16的倍数，但单独标志的确切维度，这应该显示。

如果您使用SurfaceTexture进行输出，或者手动解释YUV缓冲区，您没有描述如何在屏幕上显示解码数据。

如果手动解释缓冲区，则需要应用裁剪字段，如下所述:https://developer.android.com/reference/android/media/mediaCodec#data-types

重要的部分是：

视频帧的大小（旋转前）可以这样计算：

MediaFormat format = decoder.getOutputFormat(…);
int width = format.getInteger(MediaFormat.KEY_WIDTH);
if (format.containsKey("crop-left") && format.containsKey("crop-right")) {
    width = format.getInteger("crop-right") + 1 - format.getInteger("crop-left");
}
int height = format.getInteger(MediaFormat.KEY_HEIGHT);
if (format.containsKey("crop-top") && format.containsKey("crop-bottom")) {
    height = format.getInteger("crop-bottom") + 1 - format.getInteger("crop-top");
}