Android摄像头在GPU上将YUV格式预览为RGB格式

Question

我已经复制粘贴了我在stackoverflow上找到的一些代码，将默认的相机预览YUV转换成RGB格式，然后上传到OpenGL进行处理。这很好，问题是大部分中央处理器都忙于将YUV图像转换成RGB格式，这变成了瓶颈。

我想将YUV图像上传到GPU，然后在片段着色器中将其转换为RGB。我使用了在CPU上运行的Java YUV to RGB函数，并试图使其在GPU上运行。

这变成了一场小小的噩梦，因为在Java和GPU上进行计算有几个不同之处。首先，预览图像在Java中是字节[]，但是字节是有符号的，所以可能会有负值。

此外，片段着色器通常处理[0..1]的浮点值，而不是字节。

我确信这是可以解决的，我几乎解决了。但我花了几个小时试图找出我做错了什么，但还是没能成功。

总之，我要求有人编写这个着色器函数，最好测试一下。对我来说，这将是一个乏味的猴子工作，因为我真的不明白为什么这种转换的工作方式是这样的，我只是试图模仿GPU上相同的功能。

这是一个非常类似的功能，我用在Java：显示YUV图像在Android

我在CPU上做了一些工作，比如将1.5*wh字节YUV格式转换为wh*YUV格式，如下所示：

static public void decodeYUV420SP(int[] rgba, byte[] yuv420sp, int width,
        int height) {
    final int frameSize = width * height;

    for (int j = 0, yp = 0; j < height; j++) {
        int uvp = frameSize + (j >> 1) * width, u = 0, v = 0;
        for (int i = 0; i < width; i++, yp++) {
            int y = (int) yuv420sp[yp]+127;
            if ((i & 1) == 0) {
                v = (int)yuv420sp[uvp++]+127;
                u = (int)yuv420sp[uvp++]+127;
            }
            rgba[yp] = 0xFF000000+(y<<16) | (u<<8) | v;
        }
    }
}

我添加了127，因为字节是有符号的。然后我将rgba加载到OpenGL纹理中，并尝试在GPU上完成其余的计算。

任何帮助都会被告知。。。

Answer 1

2011年2月，Renderscript首次推出。自从Android3.0蜂巢（API 11）和Android4.2 JellyBean（API 17）加入ScriptIntrinsicYuvToRGB以来，最简单、最有效的解决方案就是使用renderscript进行YUV到RGB的转换。我最近推广了这个解决方案来处理设备旋转。

Answer 2

在CPU上转换听起来很容易，但我相信问题是如何在GPU上做到这一点？

我最近在我的项目中做了这件事，我需要得到非常快的二维码检测，即使相机的角度是45度到打印代码的表面，它的工作性能很好：

（以下代码只是为了包含关键行而进行了裁剪，假设您对Java和OpenGLES都有很好的理解）

>

int[] txt = new int[1];
GLES20.glGenTextures(1,txt,0);
GLES20.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES,txt[0]);
GLES20.glTextParameterf(... set min filter to GL_LINEAR );
GLES20.glTextParameterf(... set mag filter to GL_LINEAR );
GLES20.glTextParameteri(... set wrap_s to GL_CLAMP_TO_EDGE );
GLES20.glTextParameteri(... set wrap_t to GL_CLAMP_TO_EDGE );

请注意，纹理类型不是GL_texture_2D。这一点很重要，因为SurfaceTexture对象只支持GL_TEXTURE_EXTERNAL_OES类型，这将在下一步中使用。

设置SurfaceTexture：

SurfaceTexture surfTex = new SurfaceTeture(txt[0]);
surfTex.setOnFrameAvailableListener(this); 

上面假设“this”是一个实现“onFrameAvailable”函数的对象。

    public void onFrameAvailable(SurfaceTexture st)
    {
            surfTexNeedUpdate = true;
            // this flag will be read in GL render pipeline
    }

设置相机：

Camera cam = Camera.open();
cam.setPreviewTexture(surfTex);

如果你的目标是Android5.0，那么这个摄像头API是不推荐的，所以如果你是，你必须使用新的摄像头API。

在渲染管道中，使用以下块检查摄影机是否有可用的帧，并使用它更新表面纹理。更新表面纹理时，将填充与其链接的GL纹理。

if( surfTexNeedUpdate )
{
        surfTex.updateTexImage();
        surfTexNeedUpdate = false;
}

绑定带有摄像头的GL纹理-

GLES20.glBindTexture(GLES20.GL_TEXTURE_EXTERNAL_OS, txt[0]);

不用说，您需要设置当前活动纹理。

在将在片段部分使用上述纹理的GL着色器程序中，必须有第一行：

#extension GL_OES_EGL_imiage_external : require

以上是必备。

纹理均匀性必须为Externaloes类型：

    uniform samplerExternalOES u_Texture0;

从中读取像素就像从GL_纹理_2D类型读取像素一样，UV坐标在相同的范围内（从0.0到1.0）：

    vec4 px = texture2D(u_Texture0, v_UV);

一旦你有你的渲染管道准备渲染上面的纹理和着色器，只需启动相机：

cam.startPreview();

你应该可以在GL屏幕上看到四元摄像头的实时视频。现在，您只需抓取带有glReadPixels的图像：

GLES20.glReadPixels(0,0,width,height,GLES20.GL_RGBA, GLES20.GL_UNSIGNED_BYTE, bytes);

上行假设您的FBO是RGBA，字节已经初始化为字节[]数组的适当大小，宽度和高度是FBO的大小。

瞧！您已经从相机中捕获了RGBA像素，而不是转换在onPreviewFrame回调中接收的YUV字节...

你也可以使用RGB帧缓冲对象，如果你不需要它，可以避免alpha。

需要注意的是，摄像机将在自己的线程中调用不是GL渲染管道线程的onFramePrime，因此您不应该在该函数中执行任何GL调用。

Answer 3

我使用维基百科的代码计算GPU上从YUV到RGB的转换：

private static int convertYUVtoRGB(int y, int u, int v) {
    int r,g,b;

    r = y + (int)1.402f*v;
    g = y - (int)(0.344f*u +0.714f*v);
    b = y + (int)1.772f*u;
    r = r>255? 255 : r<0 ? 0 : r;
    g = g>255? 255 : g<0 ? 0 : g;
    b = b>255? 255 : b<0 ? 0 : b;
    return 0xff000000 | (b<<16) | (g<<8) | r;
}

我把浮点数改成了0.0。。255.0，然后使用上述代码。CPU上的部分是将原始YUV像素重新排列成YUV矩阵（也在wikipdia中显示）。基本上我使用了维基百科的代码，做了最简单的浮点运算