如何在ARCore[Android Studio]中从session.update（）获取位图

Question

我正在尝试从我与ARCore的ARSession的当前帧中获取位图。但它总是等于空。我已经在网上搜索了好一阵子，但不能弄清楚我做错了什么。

try {
    capturedImage = mFrame.acquireCameraImage();

    ByteBuffer buffer = capturedImage.getPlanes()[0].getBuffer();

    byte[] bytes = new byte[buffer.capacity()];

    Bitmap bitmap = BitmapFactory.decodeByteArray(bytes, 0, bytes.length,null);

    if (bitmap == null) 
        Log.e(TAG,"Bitmap was NOT initialized!");

} catch(Exception e){

}

我正在从我的GLSurfaceView的OnDrawFrame中获取mFrame,我使用它来显示相机图像。除了我的位图等于空之外，所有的工作都很好。

我正在使用一个按钮，这样就只使用了一个帧，如下所示：

scanButton = (Button) findViewById(R.id.scanButton);
scanButton.setOnClickListener(new View.OnClickListener() {
    @Override
    public void onClick(View view) {
        checkbox = false;
        if (capturedImage!=null) capturedImage.close();
            BitmapMethod();
    }
});

captureDimage、buffer和bytes都不等于NULL。

mframe.acquirecameraimage()可能有问题吗？

多谢

Answer 1

mFrame.AcquireCameraimage（）可能有问题吗？

否，mframe.acquirecameraimage()按预期工作。

但它总是等于null

位图将始终等于null，因为位图工厂不理解传递给它的图像数据。

方法mFrame.AcquireCameraimage()使用类型为Image的对象进行响应，该对象为YUV格式或YCbCr。这些类型的图像有3个平面，这在这里得到了很好的解释。这些平面中包含的字节数组可以由本机代码中的CPU/GPU直接读取。BitmapFactory无法读取此类型的数据。因此，您需要将此YUV图像转换为其他图像。

为此，您需要使用YUVIMAGE类创建YUV的实例&然后使用compressoJPEG方法将其转换为JPEG。一旦您从这里获得了byteArray,您就可以简单地执行上面所做的操作。使用BitmapFactory将其转换为位图并将其添加到您的ImageView中。

注：YUV有3架飞机。从所有平面创建单个bytearray&然后将其传递给YUV构造函数。虽然不是很详细,但它看起来应该类似于以下内容：

//The camera image received is in YUV YCbCr Format. Get buffers for each of the planes and use them to create a new bytearray defined by the size of all three buffers combined
val cameraPlaneY = cameraImage.planes[0].buffer
val cameraPlaneU = cameraImage.planes[1].buffer
val cameraPlaneV = cameraImage.planes[2].buffer

//Use the buffers to create a new byteArray that 
val compositeByteArray = ByteArray(cameraPlaneY.capacity() + cameraPlaneU.capacity() + cameraPlaneV.capacity())

cameraPlaneY.get(compositeByteArray, 0, cameraPlaneY.capacity())
cameraPlaneU.get(compositeByteArray, cameraPlaneY.capacity(), cameraPlaneU.capacity())
cameraPlaneV.get(compositeByteArray, cameraPlaneY.capacity() + cameraPlaneU.capacity(), cameraPlaneV.capacity())

val baOutputStream = ByteArrayOutputStream()
val yuvImage: YuvImage = YuvImage(compositeByteArray, ImageFormat.NV21, cameraImage.width, cameraImage.height, null)
yuvImage.compressToJpeg(Rect(0, 0, cameraImage.width, cameraImage.height), 75, baOutputStream)
val byteForBitmap = baOutputStream.toByteArray()
val bitmap = BitmapFactory.decodeByteArray(byteForBitmap, 0, byteForBitmap.size)
imageView.setImageBitmap(bitmap)

那只是个粗略的代码。也许还有改进的余地。也请参阅此处。