用于RTMP流媒体的MediaCodec编码器输出缓冲区的扩展客户端所有权

Question

背景：

我已经将Android的MediaCodec连接到FFmpeg，以对MediaMuxer不支持的各种格式进行多路复用，包括通过输出的rtmp://。flv集装箱。这种流媒体多路复用器需要对MediaCodec的输出缓冲区拥有更长、不可预测的所有权，因为它们可能在任何数据包处理步骤上执行网络I/O。对于我的视频流，我使用为Surface输入配置的MediaCodec。为了将多路复用与编码分离，我通过处理程序将MediaCodec的字节缓冲输出缓冲区排队到多路复用器。

如果我对进行多路复用，所有功能都会非常出色。flv输出到文件，而不是rtmpendpoint。

问题：

当muxing到rtmp://...endpoint我注意到我的流媒体应用程序在调用eglSwapBuffers（mEGLDisplay，mEncodingEGLSurface）atdequeueOutputBuffer（）时开始阻塞，。

避免复制MediaCodec#dequeueOutputBuffers返回的所有编码器输出并立即调用releaseOutputBuffer（…）的任何技巧 ？

我的项目的完整来源可以在Github上找到。具体请参见：

• Androidncoder。java：在音频和视频编码器之间共享行为的抽象编码器类：主要是drainEncoder（）。将数据写入Muxer实例

Systrace

这是一些systrace输出流式传输720p@2Mbps视频到Z编码器。

解决了

复制然后在MediaCodec编码器输出ByteBuffers可用时立即释放它们可以解决问题而不会显着影响性能。我在ArrayDeque中回收ByteBuffer副本




Answer 1

不幸的是，大多数Android手机不支持这种用例。MediaCodec只是编解码器供应商在设备上使用的OMX IL API的抽象。供应商编解码器对给定配置需要一定的审进量和输出缓冲区。

虽然从理论上讲，有一个输出缓冲区与编码器排队应该就足够了，但很多时候这是供应商编解码器不支持的，因为这会导致较低的编码性能；因此编解码器暂停。这在输入缓冲区中更为普遍。

应用程序无法控制为MediaCodec实例分配的输入/输出缓冲区的数量——Android会尝试分配所需的最小缓冲区数量，以节省内存。因此，您唯一的选择是复制输出缓冲区。虽然这并不理想，但编码的缓冲区往往相当小。