在Android中解码原始H264流？

Question

我有一个项目，我被要求在android中显示一个视频流，该流是原始的H.264，我正在连接到一个服务器，并将从服务器接收一个字节流。

基本上，我想知道有没有一种方法可以将原始字节发送到android的解码器并显示在Surface上？

我使用Android4.1中新的MediaCodec和MediaExtractor API成功地解码了包装在mp4容器中的H264，不幸的是，我没有找到使用这些API解码原始H264文件或流的方法。

我知道一种方法是编译和使用FFmpeg，但我更愿意使用一种可以使用HW加速的内置方法。我也知道android支持RTSP流，但这不是一个选项。Android版本不是问题。

Answer 1

不幸的是，我不能提供任何代码，但我将尽我所能，根据我如何使它工作的基础上解释它。

下面是我如何使用MediaCodec类使原始H.264编码视频工作的概述。

使用上面的链接有一个获得解码器设置和如何使用它的例子，你将需要设置它解码H264 AVC。

现在，如果您设置了用于解码H.264 AVC的解码器，并且有来自解码器的InputBuffer，那么您就可以开始了。您需要用一个NAL单元填充这个InputBuffer并将其传递回解码器，并在流的长度上继续这样做。但是，要使这个工作，我必须首先传递给解码器一个SPS（序列参数集）NAL单元。该单元在起始前缀（第4个字节）之后有一个字节值0x67，在某些设备上，解码器将崩溃，除非它首先接收到该单元。基本上直到你找到这个单元，忽略所有其他NAL单元并保持解析流直到你得到这个单元，然后你就可以把所有其他单元传递给解码器。

有些设备不需要SPS，有些则需要，但您最好先通过它。

现在，如果您有一个曲面，当您配置它时，您将它传递给解码器，那么一旦它获得足够的NAL单位，一个帧，它就应该显示在曲面上。