Android MediaCodec输出格式：GLES外部纹理(YUV/NV12)到GLES纹理(RGB)

Question

我目前正在尝试开发一个Android上的视频播放器，但是在颜色格式上却很纠结。

上下文：我通过MediaExtractor/MediaCodec的标准组合来提取和解码视频。因为我需要提取的帧作为OpenGLES纹理(RGB)可用，所以我设置了解码器(MediaCodec)，以便它通过SurfaceTexture提供外部GLES纹理(GL_TEXTURE_EXTERNAL_OES)。我知道我的HW解码器输出的数据是NV12(YUV420SemiPlanar)格式的，我需要通过渲染将其转换为RGB（使用片段着色器进行转换）。

MediaCodec---->GLES外部纹理(NV12)[1]---->呈现---->GLES纹理(RGB)

我纠结的点是：我如何访问GLES外部纹理中包含的特定Y、U和V值([1])。我不知道GLES纹理内存是如何设置的，也不知道如何访问它（除了“texelfetch（）”和“texelfetch（）”GLSL函数）。

• 有没有一种方法可以像访问简单数组（指针+偏移量）一样访问数据？
• 我是不是想多了？
• Surface或SurfaceTexture是否负责转换？（我不这么认为）
• 在填充GLES外部纹理([1])时，Surface或SurfaceTexture是否会更改数据的内存布局，以便可以通过GLES纹理访问函数访问组件？

Answer 1

是的，我会说你想多了。您是否测试了一些东西，并遇到了一个您可以描述的实际问题，还是这只是理论上的问题？

尽管原始解码器本身输出NV12，但当您通过sufacetexture访问它时，这个细节是隐藏的--然后您可以作为任何RGB纹理访问它。由于纹理的物理内存布局是隐藏的，所以您并不知道在获取它之前它是否真的被一次转换了，或者纹理访问器是否在每次对它进行采样时都进行了即时转换。据我所知，实现可以自由地以这些方式中的任何一种方式进行，而关于如何进行的实现细节根本无法通过公共API观察到。