InsightFace源码以及pre-train模型以及使用

2021-10-17下摘自：人脸识别系列（十七）：ArcFace/Insight Face_Fire_Light_的博客-CSDN博客_arcface和insightface

论文链接：ArcFace: Additive Angular Margin Loss for Deep Face Recognition
作者开源代码：GitHub - deepinsight/insightface: State-of-the-art 2D and 3D Face Analysis Project
这篇论文原名是ArcFace，但是由于与虹软重名，后改名为Insight Face。

其实这篇论文可以看作是AmSoftmax的一种改进版本，总体思路相对较为简单。

AmSoftmax:

不是很熟悉的读者可以参考我之前的博客
人脸识别系列（十六）：AMSoftmax

Arcface:

这样修改的原因：

角度距离比余弦距离在对角度的影响更加直接

决策边界的具体比较如下图

IR

除了损失函数的改进之外，作者还提出了一种称为IR的网络结构，就是对Resnet的block进行了一些改进，文章说更适合对人脸图片的训练了

实验

使用了几种网络结构作实验，包括MobileNet、 Inception-
Resnet-V2、Densely connected convolutional networks
(DenseNet)、Squeeze and excitation networks
(SE) 和Dual path Network (DPN)
实验结果如下：

lfw得分

MegaFace得分

截止当前（2018年3月），是MegaFace榜第一，达到了98.36%的成绩，但是因为作者对动了MegaFace中的数据，将FaceScrub与MegaFace1M干扰项中重叠的部分去除了，（这也就是表中R的含义），因此不能体现该算法对其他算法有绝对的优势。
即便如此，这篇论文以及作者开源的代码对人脸识别研究做出的贡献也是不可磨灭的。

--------------------- 本文来自 Fire_Light_ 的CSDN 博客 ，全文地址请点击：https://blog.csdn.net/Fire_Light_/article/details/79602705?utm_source=copy

一下摘自InsightFace - 使用篇, 如何一键刷分LFW 99.80%, MegaFace 98%. - 知乎

InsightFace库是对我们上述论文中提出算法的开源实现. 其中不仅仅包括我们自己的算法, 也包括其他常见的人脸loss, 比如Softmax, SphereFace, AMSoftmax, CosFace, Triplet Loss等等. 除了代码实现以外, 我们还提供了打包对齐好的人脸训练数据供下载, 免除了一大堆数据准备的工作. 研究人员可以专注于人脸识别的算法实验, 工业界也可以方便的根据自己需求训练或者拿我们提供的高精度预训练模型产品化.

目前暂列MegaFace榜单第一名:

之后会单独开一篇谈谈我对MegaFace这个评测集的看法, 不是今天的主题.

总之, 用了我们InsightFace的人, 一日之内会武功突飞猛进，打通任督二脉，吃饭香，睡得好，最后浑身血管。。。可能有朋友要问了:"那么。。在哪里才能买(yong)到呢?" 巧了，下面就为您讲解.

此外今天我们也暂时不提具体算法细节, 先教大家如何使用我们这个开源项目来做人脸方面的研究和落地项目.

环境需求:

1. Linux
2. Python 2.7

环境搭建:

1.安装MXNet:

1.1 从pip安装:

pip install -U six scipy scikit-learn opencv-python scikit-image easydict mxnet-cu80

1.2 编译安装(以干净的Centos 7为例):

yum install epel-release
yum install git python-devel.x86_64 openblas-devel.x86_64 libSM opencv-devel python-pip
pip install -U six scipy scikit-learn opencv-python scikit-image easydict
git clone --recursive https://github.com/apache/incubator-mxnet.git mxnet; cd mxnet
make -j4 USE_OPENCV=1 USE_BLAS=openblas USE_CUDA=1 USE_CUDA_PATH=/usr/local/cuda USE_CUDNN=1 ADD_CFLAGS=-I/usr/include/openblas ADD_LDFLAGS=-L/usr/lib64
cd python; pip install -e .

2. 安装/下载InsightFace

git clone --recursive https://github.com/deepinsight/insightface.git

3. 给insightface项目Star一下.

至此, 代码环境搭建完毕.

训练数据集下载和说明:

Refine-MS1M: https://pan.baidu.com/s/1nxmSCch (推荐)

VGG2: https://pan.baidu.com/s/1c3KeLzy

所有数据集均用MXNet IndexedRecord存储, 加速读取性能.

文件列表:

faces_ms1m_112x112/
         train.idx
         train.rec
         property
         lfw.bin
         cfp_ff.bin
         cfp_fp.bin
         agedb_30.bin

其中train.idx 和 train.rec分别是数据偏移索引和数据本身的文件. property代表数据集属性. 其余4个bin文件是验证集,

MXNet IndexedRecord是一种类kv结构. key是一个整数, 每个value代表数据并可包含一个header记录数据的标签.

InsightFace Record格式:

key:0,  value_header => [identities_key_start, identities_key_end]
key∈[1, identities_key_start), value_header => [identity_label], 
                               value_content => [face_image]
key∈[identities_key_start, identities_key_end), 
         value_header => [identity_key_start, identity_key_end]

这样的格式既可以支持Softmax这种类型的训练(不需要按人物分组), 又能支持类Triplet Loss的训练(通过id->images映射)

具体生成rec文件的命令可参考src/data/face2rec2.py

所有人脸图片均用MTCNN检测5点并相似变换到112x112大小.

训练过程:

预备工作,设定一些MXNet相关环境变量保证性能:

export MXNET_CPU_WORKER_NTHREADS=24
export MXNET_ENGINE_TYPE=ThreadedEnginePerDevice

接下来举几个例子说明,

1. 性价比最高的模型:

CUDA_VISIBLE_DEVICES='0,1,2,3' python -u train_softmax.py --network r100 --loss-type 4 --margin-m 0.5 --data-dir ../datasets/faces_ms1m_112x112  --prefix ../model-r100

--network r100 代表使用 LResNet100-IR(L和-IR是默认选项, 也可修改).

--loss-type 4和--margin-m 0.5代表使用我们的additive angular loss.

--data-dir指定训练数据目录.

--prefix指定模型输出目录.

默认的每张卡batch-size为128, 可通过--per-batch-size修改.

默认每2000个iterators输出一次验证集结果, 包括lfw,cfp,agedb-30. 可通过--verbose修改.

硬件需求: 4*P40. 如果只有12G卡的话, 参考issue 32 .

这个模型可以完美复现我们提交的MegaFace结果, 并且lfw能达到99.81或99.83.

(提供的训练数据集已经剔除了和FaceScrub重复的人物, 如果不剔除的话, MegaFace达到98.5左右都是可能的. 同时在另一个剔除LFW重复人物的实验上, LFW精度并没有降低)

2.训练MobileNetV1,Softmax.

CUDA_VISIBLE_DEVICES='0,1,2,3' python -u train_softmax.py --network m1 --loss-type 0 --data-dir ../datasets/faces_ms1m_112x112 --prefix ../model-m1-softmax

除了--network m1和--loss-type 0以外和上面的例子基本没有差别. --loss-type 0代表Softmax Loss. m1代表MobileNetV1. 我们另外还支持InceptionResNetV2, DPN, DenseNet, 等等.

3.Fine-tuning Triplet Loss, 在上述模型的基础上.

CUDA_VISIBLE_DEVICES='0,1,2,3' python -u train_softmax.py --network m1 --loss-type 12 --lr 0.005 --mom 0.0 --per-batch-size 150 --data-dir ../datasets/faces_ms1m_112x112 --pretrained ../model-m1-softmax,50 --prefix ../model-m1-triplet

注意一下后面的参数(lr, weight decay, momentum等).--loss-type 12代表Triplet Loss. 另外我们已经把semi-hard mining放入GPU计算, 极大加快了训练速度.

模型测试和部署:

0. 预训练模型下载:

0.1 LResNet50-IR: https://pan.baidu.com/s/1mj6X7MK LFW: 99.80

0.2 LResNet34-IR: https://pan.baidu.com/s/1jKahEXw LFW: 99.65. 单张图模型推理时间(包括对齐): 17ms

1. Verification Test.

lfw,cfp,agedb-30这几项已经在训练时不断被测试了. 如果想用训好的模型测试这几项得分的话, 可参考 src/eval/verification.py.

2.MegaFace Test.

参考 src/megaface/目录, 分三步走: 一、对齐FaceScrub和MegaFace distractors. 二、生成对应feature(src/megaface/gen_megaface.py), 三、运行megaface development kit.

3.模型部署.

我们提供了一些脚本, 可参考做模型部署. 值得注意的是输入的图片不需要被对齐, 只需要检测人脸后裁剪就可以.

3.1 进入deploy/文件夹.

3.2 训练或下载训好的模型.

3.3 参考 deploy/test.py 输入一张检测并切割好的面部照片, 返回512维的embedding. 利用上述的 LResNet34-IR模型, 单次推理仅需17毫秒(Intel E5-2660 @ 2.00GHz, Tesla M40).

以下给出模型下载链接：

3.1 LResNet100E-IR,[email protected]

BaiduDrive and Dropbox

Performance:

Method	LFW(%)	CFP-FP(%)	AgeDB-30(%)	MegaFace(%)
Ours	99.77	98.27	98.28	98.47

3.2 LResNet50E-IR,[email protected]

BaiduDrive and Dropbox

Performance:

Method	LFW(%)	CFP-FP(%)	AgeDB-30(%)	MegaFace(%)
Ours	99.80	92.74	97.76	97.64

3.3 LResNet34E-IR,[email protected]

BaiduDrive and Dropbox

Performance:

Method	LFW(%)	CFP-FP(%)	AgeDB-30(%)	MegaFace(%)
Ours	99.65	92.12	97.70	96.70

3.4 MobileFaceNet,[email protected]

BaiduDrive and Dropbox

Performance:

Method	LFW(%)	CFP-FP(%)	AgeDB-30(%)	MegaFace(%)
Ours	99.50	88.94	95.91	-----