Pytorch Facenet MTCNN图像输出

Question

我正在用facenet pytorch做一个人脸识别应用(https://github.com/timesler/facenet-pytorch)在python中使用两种方法。

第一种方法代码-

resnet = InceptionResnetV1(pretrained='vggface2').eval()
mtcnn = MTCNN(image_size=96)

img = Image.open(image_path)
image_prep = mtcnn(img)
plt.figure()
plt.axis('off')
plt.imshow(image_prep.permute(1, 2, 0))
if image_prep is not None:
  image_embedding = resnet(image_prep.unsqueeze(0))

在这个代码中，我从给定的图像中提取人脸，并获得用于识别人脸的512编码。

在本例中，我使用了两个不同的面，并绘制了面之间的距离

        a.jpg       b.jpg
a.jpg   0.000000    1.142466
b.jpg   1.142466    0.000000

它工作得很好...

第二种方法代码-

 img = Image.open(image)
 boxes, probs = mtcnn.detect(img) # Gives the coordinates of the face in the given image
 face = img.crop((boxes[0][0], boxes[0][1], boxes[0][2], boxes[0][3])) # Cropping the face
 plt.figure()
 plt.imshow(face)
 pil_to_tensor = transforms.ToTensor()(face).unsqueeze_(0) # Converting to tensor type
 image_embedding = resnet(pil_to_tensor)

在这段代码中，我通常先获得面坐标，然后是嵌入。两个面之间的距离-

        a.jpg       b.jpg
a.jpg   0.000000    0.631094
b.jpg   0.631094    0.000000

在第一种方法中，我直接将图像送入mtcnn，得到了更好的结果，两个面之间的距离大于1.0。在第二种方法中，我使用mtcnn获得面坐标。detect（），从给定的图像中裁剪出人脸，然后馈送到resnet。这种方法减少了两个不同面之间的距离。

然后，我通过在馈送到resnet之前绘制结果（face）来找到第一种方法比第二种方法性能好的原因。

在第二种方法中，我通过使用mtcnn裁剪面来填充与输入图像（清晰图像）中给定的相同的面。detect（）。

但是，在第一种方法中，我直接将输入输入到mtcnn（img），它返回的是黑暗中人脸的张量，而不是输入图像中的张量。这个较暗的图像不是清晰的图像（眼睛周围的区域较暗，我用很多照片测试过），无法清晰地看到眼睛。这就是原因，第一种方法显示两个面之间的距离更大。

我的疑问是，为什么mtcnn在黑暗中返回张量，如何解决它，在这个问题上帮助我，

谢谢

Answer 1

也许是因为张量在[-1:1]范围内返回？你必须把它转换回uint8[0-255]。