如何判断Android设备上的视频编码支持哪些MediaFormats？

Question

我正在开发一个视频/照片处理库（添加Instagram/Snapchat等过滤器）。到目前为止，核心功能运行得非常好。

然而，我发现视频处理（对输入视频重新编码）非常令人沮丧。似乎存在一些边缘情况和设备特定问题，使库无法100%工作。

我想知道如何选择/创建可在设备上使用的MediaFormat。

目前，我正在设置将用于对视频进行编码的MediaFormat，如下所示：

// assume that "extractor" is a media extractor wrapper, which holds a 
// reference to the MediaFormat of the input video
fun getOutputVideoFormat(): MediaFormat {
    val mimeType = MediaFormat.MIMETYPE_VIDEO_H263
    var width = -1
    var height = -1
    var frameRate = 30
    var bitrate = 10_000_000
    val colorFormat = MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface

    if (extractor.videoFormat.containsKey(MediaFormat.KEY_WIDTH)) {
        width = extractor.videoFormat.getInteger(MediaFormat.KEY_WIDTH)
    }

    if (extractor.videoFormat.containsKey(MediaFormat.KEY_HEIGHT)) {
        height = extractor.videoFormat.getInteger(MediaFormat.KEY_HEIGHT)
    }

    if(extractor.videoFormat.containsKey(MediaFormat.KEY_FRAME_RATE)){
        frameRate = extractor.videoFormat.getInteger(MediaFormat.KEY_FRAME_RATE)
    }

    if(extractor.videoFormat.containsKey(MediaFormat.KEY_BIT_RATE)){
        bitrate = extractor.videoFormat.getInteger(MediaFormat.KEY_BIT_RATE)
    }

    val format = MediaFormat.createVideoFormat(mimeType, width, height)
    format.setInteger(MediaFormat.KEY_COLOR_FORMAT, colorFormat)
    format.setInteger(MediaFormat.KEY_BIT_RATE, bitrate)
    format.setInteger(MediaFormat.KEY_FRAME_RATE, frameRate)
    format.setInteger(MediaFormat.KEY_CAPTURE_RATE, frameRate)

    // prevent crash on some Samsung devices
    // http://stackoverflow.com/questions/21284874/illegal-state-exception-when-calling-mediacodec-configure?answertab=votes#tab-top
    format.setInteger(MediaFormat.KEY_MAX_INPUT_SIZE, width * height)
    format.setInteger(MediaFormat.KEY_MAX_WIDTH, width)
    format.setInteger(MediaFormat.KEY_MAX_HEIGHT, height)
    format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 0)
    return format
}

到目前为止，这在我测试过的所有主要设备上都有效，但有一些设备，比如三星A5，使用这种格式时被报告在无提示下失败，只需使用在所有其他设备上正常工作的输入视频创建损坏的输出视频。

如何判断MediaFormat是否真的会在给定设备上成功？

我从三星A5设备上获得的唯一日志表明，当MediaCodec通过“INFO_OUTPUT_FORMAT_CHANGED”信号发送时，会返回以下媒体格式：

csd-1=java.nio.ByteArrayBuffer[position=0,limit=8,capacity=8], 
mime=video/avc,  
frame-rate=30,  
remained_resource=2549760,  
height=480,  
width=480,  
max_capacity=3010560, what=1869968451,  
bitrate=10000000,  
csd-0=java.nio.ByteArrayBuffer[position=0,limit=17,capacity=17]

鉴于输入视频的分辨率为1280x720，这种格式对我来说似乎无效

Answer 1

原来我的问题与设备上可用的视频编解码器无关。问题不是来自MediaCodec或MediaFormat，而是来自MediaMuxer。

我通过MediaExtractor读取视频和音频，通过配置为解码的MediaCodec推送，处理数据，然后通过配置为编码的MediaCodec推送处理后的数据，来处理视频和音频。然后我将编码数据推送到MediaMuxer（并最终将其写入文件）。这与在https://bigflake.com/mediacodec/。我只是在视频轨道上进行处理，但我使用了类似的解码/编码方法，从输入文件中获取音频并将其放入输出文件。

我最初以为问题是设备特有的，但事实证明问题实际上是输入。导致处理问题的视频非常短——不到2秒长。对于如此短的视频，解码和重新编码音频无法正常工作，MediaMuxer也没有注册任何音频帧。这就是导致最终输出损坏的原因。

我找到了以下CTS测试：https://android.googlesource.com/platform/cts/ /jb-mr2-release/tests/tests/media/src/android/media/cts/MediaMuxerTest.java，以及它的cloneMediaUsingMuxer方法，它展示了如何将音频直接从MediaExtractor复制到MediaMuxer。

我修改了我的处理方法（继续）对视频使用解码/编辑/编码方法，并使用CTS测试中演示的直通方法编写音频。这就解决了问题，我能够正确地处理短视频。

Answer 2

您可以使用MediaCodecList API查询并列出可用的编解码器及其支持的格式。

同样对于你的代码示例，你真的在使用MediaFormat。MIMETYPE_VIDEO_H263还是错别字？这是一种非常古老的格式。（不是“支持良好且可靠”的方式，而是“旧的、未经测试且可能已损坏”的方式。）最安全的方法是使用MediaFormat。MIMETYPE_VIDEO_AVC，它是Android兼容性测试套件和第三方应用程序测试最多的一种。