Android Camera2:最优最快的改变输出面设置的方法

Question

我正在制作一个视频流应用程序，使视频比特率适应可用的上行链路带宽，我希望它能动态地改变视频分辨率，这样就不会有太多的压缩工件在较低的比特率。虽然通过释放mediaCodec并调用cameracapturesession上的abortcapture()和stoprepeating()，然后为新的解析配置所有内容，我已经开始工作了，但这会导致流中非常明显的中断--在我的测试中至少中断半秒钟。

我使用OpenGL来缩放图像，当相机不支持所需的分辨率时，类似于这样。我用两个曲面初始化捕获会话--一个用于向用户预览（使用textureview)，另一个用于编码器，它要么是MediaCodec的直接输入曲面，要么是我的OpenGL纹理曲面。

通过使用MediaCodec.createPersistentInputSurface()可以解决这个问题，因为我将能够在分辨率变化中重用这个scaler实例，并且不必对捕获会话做任何事情，因为就相机而言，不会发生表面变化，但它只有在API23之后才可用，而且我还需要这个实现来支持API21。

然后还有表面被无效和重新创建的问题。例如，当用户按下后退按钮时，活动及其包含的textureview将被销毁，从而使预览图面无效。然后，当用户再次导航到该活动时，将创建一个新的textureview，我需要开始在其中显示预览，而不向缩放器/编码器看到的流引入任何滞后。

因此，我的一般问题是：如何更改CameracaptureSession中的输出曲面集，或者重新创建CameracaptureSession，同时尽可能少地在视频流中引入滞后？

Answer 1

事实证明，OpenGL上下文并不与任何特定的输出目的地相关联，它实际上保存着纹理，包括相机提供帧的纹理。所以我可以让我的视频缩放器在初始化后改变它的输出表面，如下所示：

...
}else if(inputMessage.what==MSG_CHANGE_SURFACE){
    // Detach the current thread from the context, as a precaution
    EGL14.eglMakeCurrent(mEGLDisplay, EGL14.EGL_NO_SURFACE, EGL14.EGL_NO_SURFACE, EGL14.EGL_NO_CONTEXT);
    checkEglError("eglMakeCurrent 1");

    // Destroy the old EGL surface and release its Android counterpart
    // the old surface belongs to the previous, now released, MediaCodec instance
    EGL14.eglDestroySurface(mEGLDisplay, mEGLSurface);
    checkEglError("eglDestroySurface");
    surface.release(); // surface is a field that holds the current MediaCodec encoder input surface

    surface=(Surface) inputMessage.obj;
    dstW=inputMessage.arg1; // these are used in glViewport and the fragment shader
    dstH=inputMessage.arg2;

    // Create a new EGL surface for the new MediaCodec instance
    int[] surfaceAttribs={
        EGL14.EGL_NONE
    };
    mEGLSurface=EGL14.eglCreateWindowSurface(mEGLDisplay, configs[0], surface, surfaceAttribs, 0);
    checkEglError("eglCreateWindowSurface");

    // Make it current for the current thread
    EGL14.eglMakeCurrent(mEGLDisplay, mEGLSurface, mEGLSurface, mEGLContext);
    checkEglError("eglMakeCurrent 2");

    // That's it, any subsequent draw calls will render to the new surface
}

使用这种方法，不需要重新初始化CameracaptureSession，因为相机输出到的曲面集没有变化。