为什么MediaCodec的解码器不输出统一的YUV格式（像YUV420P)？

Question

“MediaCodec解码器可以使用上述格式之一或专有格式在字节缓冲区中产生数据。例如，基于Qualcomm SoC的设备通常使用OMX_QCOM_COLOR_FormatYUV420PackedSemiPlanar32m(#2141391876/0x7FA30C04)。”

为什么不使用统一的YUV格式？为什么有这么多的YUV颜色格式？

@fadden，我发现有可能解码到Surface并获得RGB缓冲区（像http://bigflake.com/mediacodec/extractmpegframestest.java.txt)，我能把RGB缓冲区转换成YUV格式然后编码吗？

fadden，我尝试使用API18+时遇到了一些问题，我引用了ContinuousCaptureActivity和ExtractTMPegFrameStest代码。在ContinuousCaptuReactivity中：

    mEglCore = new EglCore(null, EglCore.FLAG_RECORDABLE);
    mDisplaySurface = new WindowSurface(mEglCore, holder.getSurface(), false);
    mDisplaySurface.makeCurrent();

    mFullFrameBlit = new FullFrameRect(
            new Texture2dProgram(Texture2dProgram.ProgramType.TEXTURE_EXT));
    mTextureId = mFullFrameBlit.createTextureObject();
    mCameraTexture = new SurfaceTexture(mTextureId);
    mCameraTexture.setOnFrameAvailableListener(this);
    mCamera.setPreviewTexture(mCameraTexture);

FullFrameRect创建一个表面照片，它被设置为相机预览纹理。

但是在ExtractMpegFramesTest中，使用了CodecOutputSurface并且它还创建了一个文本。我如何将CodecOutputSurface和FullFrameRect一起使用呢？（一个供给面接收解码器输出，一个缩放和渲染到编码器输入面。）

Answer 1

让我试着回答“为什么”的部分。如果您允许，我将改变问题的顺序。

以及为什么有这么多YUV颜色格式？

YUV只是用来表示视觉信息的众多颜色空间中的一个。由于许多技术和历史原因，这种颜色空间对于摄影数据（包括视频）最受欢迎。维基百科声称YUV是在电视开始从BW向彩色转变的时候发明的。那时，这些是模拟信号。后来，不同公司和国家的不同工程师开始独立发明以数字格式存储这种YUV数据的方法。难怪他们没有想出一种格式。

此外，YUV格式在它们所存储的色度信息的体积上有所不同。YUV420、422和444都有存在的权利，在精度和尺寸之间做出不同的折衷，这是很自然的。

最后，YUV格式的一些差异与像素的物理布局有关，并且针对不同的光学传感器进行了优化。

这就引出了你问题的第一部分：

如果在适当的集成电路上使用，这些html" target="_blank">格式可能具有显著的优势，如果在不同类型的硬件上使用，则完全没有优势。

硬件编解码器也是如此。h264解码器的不同实现可利用高速缓存局部性用于不同隔行的YUV格式。