如何正确使用带有YUV_420_888和MediaCodec的ImageReader将视频编码为h264格式？

Question

以下是我的问题：

1. 什么是yuv_420_888？

格式yuv_420_888是不明确的，因为它可以是属于yuv420家族的任何格式，例如yuv420p、yuv420pp、yuv420sp和yuv420psp，对吗？

如果我想把这些数据从Image的三个平面写到MediaCodec中，我需要转换成什么样的格式？YUV420、NV21、NV12、……？

格式color_formatyuv420flext也不明确，因为它可以是属于yuv420家族的任何格式，对吗？如果我将MediaCodec对象的key_color_format选项设置为color_formatyuv420flext，那么是什么格式(YUV420P,yuv420sp...）是否应该向MediaCodec对象输入数据？

我知道MediaCodec有自己的曲面，如果我将MediaCodec对象的key_color_format选项设置为color_formatsurface就可以使用该曲面。使用Camera2 API，我不需要自己向MediaCodec对象写入任何数据。我可以耗尽输出缓冲区。

我是否可以使用ImageReader从相机中读取图像，并在重新绘制之后，将新数据写入MediaCodec的表面，然后将其排出？怎么做？

编辑1

我使用color_formatsurface和renderscript实现了该函数。下面是我的代码：

public void onImageAvailable(ImageReader imageReader) {
    try {
        try (Image image = imageReader.acquireLatestImage()) {
            if (image == null) {
                return;
            }
            Image.Plane[] planes = image.getPlanes();
            if (planes.length >= 3) {
                ByteBuffer bufferY = planes[0].getBuffer();
                ByteBuffer bufferU = planes[1].getBuffer();
                ByteBuffer bufferV = planes[2].getBuffer();
                int lengthY = bufferY.remaining();
                int lengthU = bufferU.remaining();
                int lengthV = bufferV.remaining();
                byte[] dataYUV = new byte[lengthY + lengthU + lengthV];
                bufferY.get(dataYUV, 0, lengthY);
                bufferU.get(dataYUV, lengthY, lengthU);
                bufferV.get(dataYUV, lengthY + lengthU, lengthV);
                imageYUV = dataYUV;
            }
        }
    } catch (final Exception ex) {

    }
}

public static Bitmap YUV_420_888_toRGBIntrinsics(Context context, int width, int height, byte[] yuv) {
    RenderScript rs = RenderScript.create(context);
    ScriptIntrinsicYuvToRGB yuvToRgbIntrinsic = ScriptIntrinsicYuvToRGB.create(rs, Element.U8_4(rs));

    Type.Builder yuvType = new Type.Builder(rs, Element.U8(rs)).setX(yuv.length);
    Allocation in = Allocation.createTyped(rs, yuvType.create(), Allocation.USAGE_SCRIPT);

    Type.Builder rgbaType = new Type.Builder(rs, Element.RGBA_8888(rs)).setX(width).setY(height);
    Allocation out = Allocation.createTyped(rs, rgbaType.create(), Allocation.USAGE_SCRIPT);


    Bitmap bmpOut = Bitmap.createBitmap(width, height, Bitmap.Config.ARGB_8888);

    in.copyFromUnchecked(yuv);

    yuvToRgbIntrinsic.setInput(in);
    yuvToRgbIntrinsic.forEach(out);
    out.copyTo(bmpOut);
    return bmpOut;
}

mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);
...
mediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
...
surface = mediaCodec.createInputSurface(); // This surface is not used in Camera APIv2. Camera APIv2 uses ImageReader's surface.

while (!stop) {
    final byte[] image = imageYUV;

    // Do some yuv computation

    Bitmap bitmap = YUV_420_888_toRGBIntrinsics(getApplicationContext(), width, height, image);
    Canvas canvas = surface.lockHardwareCanvas();
    canvas.drawBitmap(bitmap, matrix, paint);
    surface.unlockCanvasAndPost(canvas);
}

这种方式管用，但性能不好。它不能输出30fps的视频文件（只有~12fps)。也许我不应该使用color_formatsurface和曲面的画布进行编码。计算出的YUV数据应该直接写入mediaCodec而不需要任何曲面进行任何转换。但我还是不知道怎么做。

Answer 1

您是对的，YUV_420_888是一种可以包装不同YUV420格式的格式。规范仔细解释，U面和V面的布置没有规定，但有一定的限制；例如，如果U平面具有像素步幅2，则同样适用于V（然后底层字节缓冲器可以是NV21)。

COLOR_FormatYUV420Flexible是YUV_420_888的同义词，但它们分别属于不同的类：MediaCodec和ImageFormat。

规范解释说：