如何从图像中匹配两个检测到的矩形？

Question

我想在深度学习的基础上，计算两个检测器从多幅图像中检测出的矩形的比例。例如，在下图中，首先，第一个检测器检测大圆（c1和c2），第二个检测器检测小圆（d1和d2）。现在，第一个检测器返回c1和c2的坐标，第二个检测器也返回d1和d2的坐标。

c1坐标（xmin， ymin， xmax， ymax）：（10, 10, 30, 30)d1坐标：（13, 15, 20, 23)

c2坐标：（20, 20, 40, 40)d2坐标：（25, 24, 32, 33)

但是，我不知道OpenCV和python的许多功能。你能做一些代码、函数或推荐库吗？

非常感谢。

Answer 1

通常用于此任务的度量是“联合上的交集”，即IOU。

使用此格式的边框（矩形）输入[50、60、200、150]，您可以像这样为其编写自定义函数-

def intersection_over_union(box1, box2):
    # Get coordinates of the intersection 
    x1 = max(box1[0], box2[0])
    y1 = max(box1[1], box2[1])
    x2 = min(box1[2], box2[2])
    y2 = min(box1[3], box2[3])

    # Get the area of intersection rectangle
    intersection = max(0, x2 - x1 + 1) * max(0, y2 - y1 + 1)

    # Get the area of both rectangles
    box1Area = (box1[2] - box1[0] + 1) * (box1[3] - box1[1] + 1)
    box2Area = (box2[2] - box2[0] + 1) * (box2[3] - box2[1] + 1)

    iou = intersection / float(box1Area + box2Area - intersection)

    return iou

请注意，这需要以标准格式返回边界框，其中以下条件正确：

assert box1['x1'] <= box1['x2']
assert box1['y1'] <= box1['y2']
assert box2['x1'] <= box2['x2']
assert box2['y1'] <= box2['y2']

更多的细节在这个答案。

如果边界框对不满足该条件，最好使用sklearn的jaccard_score（IOU的另一个名称）

from sklearn.metrics import jaccard_score
import numpy as np

box1 = [180, 400, 450, 450]
box2 = [200, 450, 425, 425]

img = np.zeros((800, 800, 3), np.uint8)  # use your image shape here or directly below

img1 = cv2.rectangle(np.zeros(img.shape), (box1[0], box1[1]), (box1[2], box1[3]), (1, 1, 1), -1) 
img2 = cv2.rectangle(np.zeros(img.shape), (box2[0], box2[1]), (box2[2], box2[3]), (1, 1, 1), -1)

jaccard_score(img1.ravel(),img2.ravel())