Android Camerax-录制视频时的人脸检测

Question

我在Android中使用新的库CameraX和Firebase ML工具包，并检测设备可以检测的每一帧人脸。

CameraX.bindToLifecycle(this, preview, imageCapture, faceDetectAnalyzer)

CameraX.bindToLifecycle(this, preview, imageCapture, faceDetectAnalyzer, videoCapture)

我知道这个库仍然在阿尔法，但我想有一种方法可以做到这一点。

即使没有jet，用Firebase ML录制视频时，还有什么方法可以实现人脸检测呢？

Answer 1

我使用CameraX不多，但我通常使用Camera2 API和Firebase ML工具包。

为了同时使用这两个API，您应该从预览大小ImageReader中获得Image回调。在回调中，您可以使用这些图像通过API创建FirebaseVisionFace，并对其进行任何操作。使用Kotlin和Coroutines应该如下所示：

 private val options: FirebaseVisionFaceDetectorOptions = FirebaseVisionFaceDetectorOptions.Builder()
    .setContourMode(FirebaseVisionFaceDetectorOptions.ALL_CONTOURS)
    .build()

val detector = FirebaseVision.getInstance().getVisionFaceDetector(options)

suspend fun processImage(image: Image): FirebaseVisionFace {
    val metadata = FirebaseVisionImageMetadata.Builder()
        .setWidth(image.width) // 480x360 is typically sufficient for image recognition
        .setHeight(image.height)
        .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
        .build()

    val visionImage = FirebaseVisionImage.fromMediaImage(image)
    val firebaseVisionFace = detector.detectInImage(visionImage).await()

    return firebaseVisionFace
}

如果您想使用await方法来支持Coroutine，可以向https://github.com/frangsierra/firebase-coroutines-android提供一个loot