在Android上使用像素缓冲区对象（PBO）

Question

在Android上，我试图对相机帧执行一些OpenGL处理，在相机预览中显示这些帧，然后将这些帧编码为视频文件。我试图用OpenGL做这件事，使用GLSurfaceView和GLSurfaceView。渲染器和FFMPEG用于视频编码。

我已经使用着色器成功地处理了图像帧。现在我需要将处理后的帧编码为视频。这是一个表面视图。渲染器提供onDrawFrame（GL10..）方法正是在这种方法中，我尝试仅使用glReadPixels（）读取图像帧，然后将这些帧放在队列中进行视频编码。就其本身而言，glReadPixels（）太慢了——我的帧速率只有个位数。我正在尝试使用像素缓冲区对象来加快速度。这是行不通的。插入pbo后，帧速率保持不变。这是我第一次使用OpenGL，我不知道从哪里开始寻找问题。我这样做对吗？谁能给我指点方向吗？提前谢谢。

public class MainRenderer implements GLSurfaceView.Renderer, SurfaceTexture.OnFrameAvailableListener {

.
.

    public void onDrawFrame ( GL10 gl10 ) {

        //Create a buffer to hold the image frame     
        ByteBuffer byte_buffer = ByteBuffer.allocateDirect(this.width * this.height * 4);
        byte_buffer.order(ByteOrder.nativeOrder());

        //Generate a pointer to the frame buffers
        IntBuffer image_buffers = IntBuffer.allocate(1); 
        GLES20.glGenBuffers(1, image_buffers);

        //Create the buffer
        GLES20.glBindBuffer(GLES20.GL_ARRAY_BUFFER, image_buffers.get(0));
        GLES20.glBufferData(GLES20.GL_ARRAY_BUFFER, byte_buffer.limit(), byte_buffer, GLES20.GL_STATIC_DRAW);
        GLES20.glBindBuffer(GLES20.GL_ARRAY_BUFFER, image_buffers.get(0));

        //Read the pixel data into the buffer
        gl10.glReadPixels(0, 0, this.width, this.height, GL10.GL_RGBA, GL10.GL_UNSIGNED_BYTE, byte_buffer);

        //encode the frame to video
        enQueueForEncoding(byte_buffer);

        //unbind the buffer
        GLES20.glBindBuffer(GLES20.GL_ARRAY_BUFFER, 0);
    }

.
.

}

Answer 1

因为我记得glBufferData（）不是映射到GPU内存的内部缓冲区，它只是从内存复制数据到缓冲区（初始化）。

要访问由glBufferData（）分配的内存，应该使用glMapBufferRange（）。该函数返回一个可以读取的JavaBuffer对象。

Answer 2

我以前从未尝试过类似的东西（opengl视频重唱），但我可以告诉你，从设备内存读取是很慢的。尝试双缓冲，这可能会有所帮助，因为当DMA控制器读回内容时，GPU可以继续渲染到第二个缓冲区。

加载分析器（检查您的设备的GPU供应商），这可能会给您一些想法。另一件可能有帮助的事情是将内部p缓冲区格式设置为其他格式，尝试较低的数字并删除通道（alpha）。

编辑：如果你喜欢，你可以在GPU上对视频进行编码，这将提高你的应用程序的内存和处理能力。