一台设备上的MediaCodec解码h264错误

Question

我正在尝试使用Android的MediaCodec接口解码H.264流。在我的测试设备上，一切都运行得很好，但在一个我无法访问的客户设备（三星Tab S）上，却出现了奇怪的问题。

当我解码流时，我不发送任何SPS/PPS、NALs或初始帧。我只是开始从现场流中推送数据，将其分割成以0x09 NAL结尾的块，解码器就会很好地同步自己，没有问题，非常快。

至少这一个设备的问题是，当我从解码器获得一个BufferInfo时，它会声称它解码了1413120字节的数据，但缓冲区大小只有1382400！当然，如果我试图从缓冲区中获取那么多数据，它就会崩溃。

视频为1280x720，解码为NV12，所以缓冲区大小刚刚好。报告的解码输出大小不是。如果我强制大小为1382400并将NV12转换为RGB，我得到几乎正确的图片。前32行绿色浓重，蓝色通道偏移相当大。这意味着UV块在此设备上解码部分错误。

以前有人遇到过这种问题吗？我已经记录了原始的h264流从特定的设备，它发挥只是很好，没有绿色块或色移。

在开始流媒体之前，我真的应该设置SPS/PPS和初始帧吗？该流似乎包含了所需的一切，因为解码器实现了正确的分辨率，设置了缓冲区，并在我测试过的每一个设备上进行解码，除了这一个。所以我想知道三星是不是有什么特别的事情发生了。

这里有一个结果的例子。不要只有流的图像，要注意帧是旋转的。在绿色区域中的Y组件还不错，在右边的白色块上，你可以清楚地看到蓝移。

编辑：即使我用csd-0中的SPS/PPS块启动解码器，颜色问题仍然存在。所以不是因为那个。

还设法用另一个设备测试了准确的流。没有绿色条，没有颜色偏移。所以这是特定器件/型号的编解码器的问题。

Answer 1

我在过去也遇到过类似的问题（特别是在三星设备上），如果我没记错的话，那是由于缺少SPS/PPS数据造成的。如果要获得一致的结果，必须输入SPS/PPS数据。

不是一个直接解决您的问题，但一个可能的解决办法是使用替代解码器（如果存在）时，运行在特定设备。

我不确定您是如何实例化解码器的，但人们经常使用mime类型，如下所示：

decoder = MediaCodec.createDecoderByType("video/avc");

然后设备将选择首选的解码器（可能是硬件）。

您也可以实例化一个特定的解码器，如下所示：

decoder = MediaCodec.createByCodecName("OMX.google.h264.decoder");

// OR

decoder = MediaCodec.createByCodecName("OMX.qcom.video.decoder.avc");

根据我的经验，大多数设备至少有2个不同的H264解码器可用，您可能会发现该设备上的另一个解码器可以正常工作。

static MediaCodecInfo[] getCodecs() {

    if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.LOLLIPOP) {
        MediaCodecList mediaCodecList = new MediaCodecList(MediaCodecList.ALL_CODECS);
        return mediaCodecList.getCodecInfos();
    } else {
        int numCodecs = MediaCodecList.getCodecCount();
        MediaCodecInfo[] mediaCodecInfo = new MediaCodecInfo[numCodecs];

        for (int i = 0; i < numCodecs; i++) {
            MediaCodecInfo codecInfo = MediaCodecList.getCodecInfoAt(i);
            mediaCodecInfo[i] = codecInfo;
        }

        return mediaCodecInfo;
    }       
}