H264 RTP视频流被MediaCodec损坏

Question

我可以看到视频播放在我的TextureView，但它是相当腐败。我已经验证了我正在以正确的顺序接收完整的数据包。我已经能够正确解析RTP头。我相信我的问题与SPS和PPS以及MediaCodec有关。

MediaFormat format = MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, width, height);

// from avconv, when streaming sample.h264.mp4 from disk
byte[] header_sps = {0, 0, 0, 1, 0x67, 0x64, (byte) 0x00, 0x1e, (byte) 0xac, (byte) 0xd9, 0x40, (byte) 0xa0, 0x3d,
            (byte) 0xa1, 0x00, 0x00, (byte) 0x03, 0x00, 0x01, 0x00, 0x00, 0x03, 0x00, 0x3C, 0x0F, 0x16, 0x2D, (byte) 0x96}; // sps
byte[] header_pps = {0, 0, 0, 1, 0x68, (byte) 0xeb, (byte) 0xec, (byte) 0xb2, 0x2C}; // pps


format.setByteBuffer(CSD_0, ByteBuffer.wrap(header_sps));
format.setByteBuffer(CSD_1, ByteBuffer.wrap(header_pps));

正如您所看到的，我没有从我的视频流中为MediaFormat提供SPS和PPS，而是使用了一个internet示例中的硬编码集。我试图找到解释如何从数据包中提取SPS和PPS的源，但没有找到任何东西。

问题：

如果MediaFormat已经被提供了SPS和PPS，那么我是否应该在将其传递给MediaCodec之前从缓冲区中删除SPS和PPS？

下面是一个包含报头的RTP数据包的前几个字节：

80 a1 4C c3 32 2C 24 7A f5 5C 9F bb 47 40 44 3A 40 0 ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff0 5 5C 41 71 2C 30 c1 30 b1 88 6C f5 84 98 2C 82 f5 84 82 44 96 72 45 ca 96 30 35 91 83 86 42 e4 90 28 b1 81 1A 6 57 a8 37 b0 60 56 81 72 71 5C 58 a7 4E af 67 bd 10 13 1 af e9 71 15 13 da a0 15 d5 72 38 36 2E 35 11 31 10 a4 12 1E 26 28 40 b5 3B 65 8C 30 54 8A 96 1B c5 a7 b5 84 cb a9 aa 3D d4 5347 0 45 34 55 0 ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ff ffd0 5F f5 de c9 9E f7 f8 23 ab a5 aa

Answer 1

是的，mediacodec需要先初始化SPS和PPS。您必须从SDP响应中提取SPS/PPS，SDP响应是RTSP握手期间发送给服务器（摄像机）的description命令的回复。SDP响应中有一个包含SPS/PPS的sprop参数集。您可以在WireShark上看到它们：

Media format specific parameters: sprop-parameter-sets=Z2QAKKwbGoB4AiflwFuAgICgAAB9AAAOph0MAHz4AAjJdd5caGAD58AARkuu8uFAAA==,aO44MAA=

它们之间用逗号分隔，必须使用base64进行解码。请参阅以下说明：如何解码H264 SDP中的存储参数集？