使用MediaCodec API JNI解码H.264流

Question

我正在开发一个使用MediaCodec API的H.264解码器。我试图在JNI层中调用MediaCodec java API，该函数如下所示：

void Decompress(const unsigned char *encodedInputdata, unsigned int inputLength, unsigned char **outputDecodedData, int &width, int &height) {
    // encodedInputdata is encoded H.264 remote stream
    // .....
    // outputDecodedData = call JNI function of MediaCodec Java API to decode
    // .....
}

稍后，我将把OutputDecodedData发送到我现有的视频呈现管道，并在Surface上呈现。

我希望我能够编写一个Java函数来解码输入流，但这些将是一个挑战-

1. 此资源声明-

…你不能对解码的视频帧做任何事情，只能将它们呈现在表面

这里，一个表面已被传递decoder.configure（format,surface,null,0)在表面上呈现输出bytebuffer并且声明由于API限制，我们不能使用这个缓冲区，但要呈现它。

那么，我是否能够将输出bytebuffer发送到本机层，以转换为无符号字符*并传递到我的呈现管道，而不是传递surface或configure()？

Answer 1

我看到了您提议的函数定义的两个基本问题。

首先，MediaCodec对访问单元（对于H.264是NAL单元）进行操作，而不是来自流的任意数据块，因此您需要一次传入一个NAL单元。一旦接收到块，编解码器可能希望在产生任何输出之前等待额外的帧到达。一般情况下，您不能通过一帧输入，然后等待接收一帧输出。

其次，正如您所注意到的，ByteBuffer输出是YUV编码的，采用多种颜色格式之一。格式因设备而异；高通设备特别使用自己的专有格式。（不过，它已经被反向工程过了，所以如果你四处搜索，你就能找到一些破解它的代码。）