这个网络摄像头人脸检测有什么问题？

Question

Dlib有一个非常方便、快速和高效的目标检测程序，我想做一个类似于这个例子的酷脸跟踪例子。

OpenCV，这是广泛支持，有视频捕捉模块，这是相当快的（五分之一秒的快照相比，1秒或更多的调用一些程序，唤醒网络摄像头和获取图片）。我将此添加到Dlib中的人脸检测器Python示例中。

如果您直接显示和处理OpenCV VideoCapture输出，它看起来很奇怪，因为OpenCV显然存储BGR而不是RGB订单。调整后，它的工作原理，但缓慢：

from __future__ import division
import sys

import dlib
from skimage import io


detector = dlib.get_frontal_face_detector()
win = dlib.image_window()

if len( sys.argv[1:] ) == 0:
    from cv2 import VideoCapture
    from time import time

    cam = VideoCapture(0)  #set the port of the camera as before

    while True:
        start = time()
        retval, image = cam.read() #return a True bolean and and the image if all go right

        for row in image:
            for px in row:
                #rgb expected... but the array is bgr?
                r = px[2]
                px[2] = px[0]
                px[0] = r
        #import matplotlib.pyplot as plt
        #plt.imshow(image)
        #plt.show()

        print( "readimage: " + str( time() - start ) )

        start = time()
        dets = detector(image, 1)
        print "your faces: %f" % len(dets)
        for i, d in enumerate( dets ):
            print("Detection {}: Left: {} Top: {} Right: {} Bottom: {}".format(
                i, d.left(), d.top(), d.right(), d.bottom()))
            print("from left: {}".format( ( (d.left() + d.right()) / 2 ) / len(image[0]) ))
            print("from top: {}".format( ( (d.top() + d.bottom()) / 2 ) /len(image)) )
        print( "process: " + str( time() - start ) )

        start = time()
        win.clear_overlay()
        win.set_image(image)
        win.add_overlay(dets)

        print( "show: " + str( time() - start ) )
        #dlib.hit_enter_to_continue()



for f in sys.argv[1:]:
    print("Processing file: {}".format(f))
    img = io.imread(f)
    # The 1 in the second argument indicates that we should upsample the image
    # 1 time.  This will make everything bigger and allow us to detect more
    # faces.
    dets = detector(img, 1)
    print("Number of faces detected: {}".format(len(dets)))
    for i, d in enumerate(dets):
        print("Detection {}: Left: {} Top: {} Right: {} Bottom: {}".format(
            i, d.left(), d.top(), d.right(), d.bottom()))

    win.clear_overlay()
    win.set_image(img)
    win.add_overlay(dets)
    dlib.hit_enter_to_continue()


# Finally, if you really want to you can ask the detector to tell you the score
# for each detection.  The score is bigger for more confident detections.
# Also, the idx tells you which of the face sub-detectors matched.  This can be
# used to broadly identify faces in different orientations.
if (len(sys.argv[1:]) > 0):
    img = io.imread(sys.argv[1])
    dets, scores, idx = detector.run(img, 1)
    for i, d in enumerate(dets):
        print("Detection {}, score: {}, face_type:{}".format(
            d, scores[i], idx[i]))

从这个程序的计时输出来看，处理和抓取图片似乎都需要五分之一秒的时间，所以你会认为它应该每秒显示一到两次更新-但是，如果你举手，它会在大约5秒后显示在网络摄像头视图中！

是否有某种内部缓存阻止它获取最新的网络摄像头图像？我是否可以调整或多线程网络摄像头输入过程以修复延迟？这是在具有16gb RAM的Intel i5上。

最新消息

根据这里，它建议读取逐帧抓取视频。这就解释了为什么它会抓取下一帧和下一帧，直到它最终赶上了处理过程中抓取的所有帧。我想知道是否有一个选项来设置帧率或设置为丢弃帧，只需点击网络摄像头中的面部图片现在阅读？http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_gui/py_video_display/py_video_display.html#capture-video-from-camera

Answer 1

如果你想显示一个在OpenCV中读取的帧，你可以在cv2.imshow（）函数的帮助下完成，而不需要改变颜色顺序。另一方面，如果你仍然想在matplotlib中显示图片，那么你不能避免使用这样的方法：

b,g,r = cv2.split(img)
img = cv2.merge((b,g,r))

这是我现在唯一能帮你的=）

Answer 2

可能问题是设置了一个阈值。如本文所述

dots = detector(frame, 1)

应该改为

dots = detector(frame)

以避免阈值。这对我来说是可行的，但同时也存在一个问题，即帧处理速度太快。

Answer 3

我感觉到你的痛苦。实际上，我最近使用了那个网络摄像头脚本（多次迭代；大量编辑）。我想我的工作做得很好。为了让您了解我所做的工作，我创建了一个GitHub Gist，其中包含详细信息（代码；HTML自述文件；示例输出）：

https://gist.github.com/victoriastuart/8092a3dd7e97ab57ede7614251bf5cbd